[논문 리뷰] GRecX: An Efficient and Unified Benchmark for GNN-based Recommendation

Desheng Cai, Jun Hu외 4명|arXiv (Cornell University)|2021. 11. 19.

Recommender Systems and Techniques참고 문헌 17인용 수 4

한 줄 요약

GRecX는 메트릭, 유사도 검색, 미니배치 평가, 데이터셋 관리에 최적화된 라이브러리를 제공함으로써 GNN 기반 추천 모델에 대한 효율적이고 통합된 벤치마킹을 가능하게 하는 오픈소스 텐서플로우 프레임워크입니다. 새로운 메트릭인 GRMF-X를 도입하고, NGCF, LightGCN, UltraGCN와 같은 인기 모델들의 고성능이고 재현 가능한 구현을 제공하여 추론 속도를 크게 향상시키고 다양한 초모수 설정을 가진 모델 간의 공정한 비교를 가능하게 합니다.

ABSTRACT

In this paper, we present GRecX, an open-source TensorFlow framework for benchmarking GNN-based recommendation models in an efficient and unified way. GRecX consists of core libraries for building GNN-based recommendation benchmarks, as well as the implementations of popular GNN-based recommendation models. The core libraries provide essential components for building efficient and unified benchmarks, including FastMetrics (efficient metrics computation libraries), VectorSearch (efficient similarity search libraries for dense vectors), BatchEval (efficient mini-batch evaluation libraries), and DataManager (unified dataset management libraries). Especially, to provide a unified benchmark for the fair comparison of different complex GNN-based recommendation models, we design a new metric GRMF-X and integrate it into the FastMetrics component. Based on a TensorFlow GNN library tf_geometric, GRecX carefully implements a variety of popular GNN-based recommendation models. We carefully implement these baseline models to reproduce the performance reported in the literature, and our implementations are usually more efficient and friendly. In conclusion, GRecX enables uses to train and benchmark GNN-based recommendation baselines in an efficient and unified way. We conduct experiments with GRecX, and the experimental results show that GRecX allows us to train and benchmark GNN-based recommendation baselines in an efficient and unified way. The source code of GRecX is available at https://github.com/maenzhier/GRecX.

연구 동기 및 목표

• 일관되지 않은 평가 관행과 높은 계산 오버헤드로 인해 GNN 기반 추천 모델에 대한 효율적이고 통합된 벤치마킹이 부족한 문제를 해결하기 위해.
• 특히 음성 샘플링 전략과 손실 함수에 관해 평가 프로토콜을 표준화하여 GNN 기반 추천 모델 간의 공정한 비교를 가능하게 하기 위해.
• 기존 공식 구현체보다 성능 향상과 함께 재현 가능성을 확보하면서도 고성능을 달성하는 인기 있는 GNN 기반 추천 모델의 구현을 개발하기 위해.
• 모델 우월성의 효과적인 검증을 가능하게 하는 새로운 평가 메트릭인 GRMF-X를 도입하기 위해.
• GNN 기반 추천 모델의 학습, 평가, 벤치마킹을 단순화하는 통합적이고 오픈소스 프레임워크를 제공하기 위해.

제안 방법

• 빠른 메트릭 계산을 위한 FastMetrics, 고밀도 벡터에서의 빠른 유사도 검색을 위한 VectorSearch, 미니배치 평가를 위한 BatchEval, 통합된 데이터셋 처리를 위한 DataManager을 포함한 핵심 라이브러리 설계 및 구현.
• FastMetrics에 새로운 평가 메트릭인 GRMF-X를 통합하여 다양한 초모수 설정에서의 모델 비교의 표준화와 공정성 향상을 도모.
• 텐서플로우를 사용하여 인기 있는 GNN 기반 추천 모델(예: NGCF, LightGCN, UltraGCN base)을 재현 가능하고 기존 공식 구현체보다 성능 향상을 이룬 채로 구현.
• 상위-K 검색을 위한 전체 행렬 곱셈과 같은 계산 비용이 높은 연산을 효율적인 대체 방법으로 대체하여 추론 최적화를 수행하고 시간 및 공간 복잡도를 감소.
• 특히 음성 샘플링 전략(1개 대비 800개 샘플)과 임bedding 차원 수를 포함한 초모수 설정을 모든 모델 간에 표준화하여 공정한 벤치마킹을 가능하게 함.
• 프레임워크 내에서 그래프 신경망 연산의 호환성과 효율성을 확보하기 위해 tf_geometric을 기반 GNN 라이브러리로 사용.

실험 결과

연구 질문

• RQ1 GNN 기반 추천 모델에 대한 효율적이고 통합된 벤치마킹 프레임워크를 설계할 수 있는가? 이는 계산 오버헤드를 최소화하는 데 초점이 맞춰져 있다.
• RQ2 제안된 GRMF-X 메트릭이 GNN 기반 추천에서 모델 비교의 공정성과 효과성에 얼마나 기여하는가?
• RQ3 RecBole 및 원본 코드베이스와 비교했을 때 GRecX 프레임워크가 더 빠른 추론과 향상된 학습 효율성을 달성할 수 있는가?
• RQ4 통합된 벤치마킹 환경에서 표준화된 조건에서 음성 샘플링 전략과 손실 함수가 모델 성능에 미치는 영향은 어떠한가?
• RQ5 GRecX 최적화 구현체가 문헌에 보고된 기준 모델의 성능을 재현하거나 초월할 수 있는가?

주요 결과

• GRecX는 추론 효율성을 크게 향상시켰다: GRecX에 구현된 LightGCN는 Yelp2018 및 Gowalla 데이터셋에서 RecBole 및 원본 코드 모두보다 더 빠른 추론 시간을 기록했다.
• GRMF-X 메트릭은 모델 우월성의 효과적인 검증을 가능하게 하였으며, 공정한 조건에서 평가했을 때 MF 및 MLP+MF 모델이 일부 설정에서 NGCF 및 LightGCN를 능가함을 드러냈다.
• 같은 음성 샘플링 전략(1개의 음성 샘플)을 사용할 경우, LightGCN가 UltraGCN base_s를 능가함을 확인하여 이전 연구에서 관찰된 성능 차이가 모델 아키텍처의 차이보다는 초모수 불균형에 기인할 수 있음을 시사했다.
• NGCF, LightGCN, UltraGCN base의 GRecX 최적화 구현체는 원본 보고치와 동일하거나 그 이상의 성능을 달성하면서도 더 효율적이고 재현이 용이하다.
• 특히 음성 샘플링과 임베딩 차원 수를 포함한 초모수 설정을 표준화함으로써, 일부 경우에서 복잡한 GNN 모델보다 MF 및 MLP+MF 모델이 더 뛰어난 성능을 보임을 확인하여 GNN의 우월성에 대한 기존의 가정을 도전할 수 있었다.
• 프레임워크는 다양한 모델 간 일관되고 재현 가능한 벤치마킹을 가능하게 하였으며, 실험 결과는 https://github.com/maenzhier/GRecX 에서 확인할 수 있다.