[논문 리뷰] An Adaptive Graph Pre-training Framework for Localized Collaborative Filtering

Yiqi Wang, Chaozhuo Li외 6명|arXiv (Cornell University)|2021. 12. 14.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 논문은 국소적 협업 필터링을 위한 적응형 그래프 사전 훈련 프레임워크인 ADAPT를 제안한다. 이는 GNN 기반 추천 시스템에서 발생하는 데이터 희소성 문제를 해결한다. 메타-LGNN을 도입하여 전역 임베딩을 학습하지 않고도 국소적 사용자-아이템 구조를 인코딩하고, GNN 어댑터를 통해 각 그래프에 맞게 사전 훈련된 지식을 개인화함으로써, 그래프 간 공통 패턴을 효과적으로 전이하면서도 그래프 고유의 특성을 유지한다. 이로 인해 희소 데이터에서 추천 성능이 크게 향상된다.

ABSTRACT

Graph neural networks (GNNs) have been widely applied in the recommendation tasks and have obtained very appealing performance. However, most GNN-based recommendation methods suffer from the problem of data sparsity in practice. Meanwhile, pre-training techniques have achieved great success in mitigating data sparsity in various domains such as natural language processing (NLP) and computer vision (CV). Thus, graph pre-training has the great potential to alleviate data sparsity in GNN-based recommendations. However, pre-training GNNs for recommendations face unique challenges. For example, user-item interaction graphs in different recommendation tasks have distinct sets of users and items, and they often present different properties. Therefore, the successful mechanisms commonly used in NLP and CV to transfer knowledge from pre-training tasks to downstream tasks such as sharing learned embeddings or feature extractors are not directly applicable to existing GNN-based recommendations models. To tackle these challenges, we delicately design an adaptive graph pre-training framework for localized collaborative filtering (ADAPT). It does not require transferring user/item embeddings, and is able to capture both the common knowledge across different graphs and the uniqueness for each graph. Extensive experimental results have demonstrated the effectiveness and superiority of ADAPT.

연구 동기 및 목표

• GNN 기반 추천 시스템에서 사용자-아이템 상호작용 그래프가 희소할 경우 지속적으로 발생하는 데이터 희소성 문제를 해결하기 위해.
• 다양한 소스 그래프에서 타겟 추천 그래프로 지식을 효과적으로 전이할 수 있는 사전 훈련 프레임워크를 설계하기 위해.
• NLP 및 CV 분야의 기존 사전 훈련 방법이 공통 어휘나 특징에 의존하는 데서 비롯되는 한계를 극복하기 위해, 그래프 구조화된 추천 데이터에 특화된 방법을 개발하기 위해.
• 실제 추천 시나리오에서 흔히 발생하는 공통 사용자 또는 아이템 임베딩이 없는 상황에서도 지식 전이가 가능하도록 하기 위해.
• 다양한 그래프 간의 공통 패턴과 개별 그래프의 고유한 구조적 특성을 모두 포착할 수 있는 유연하고 적응형 메커니즘을 개발하기 위해.

제안 방법

• 전역 사용자 및 아이템 임베딩을 학습하지 않고도 사용자-아이템 쌍의 국소적 이웃에서 협업 필터링 신호를 직접 인코딩하는 메타-LGNN(로컬 그래프 신경망)을 제안한다.
• 사용자-아이템 상호작용 패턴을 기반으로 한 새로운 노드 레이블링 전략을 도입하여 사전 훈련을 위한 국소 그래프 구조를 표현한다.
• 사전 훈련된 모델을 타겟 그래프의 구조에 맞게 적응시키기 위해, 각 대상 그래프에 대해 메타-LGNN을 보정하는 GNN 어댑터 모듈을 도입한다.
• 임베딩 재구성 기반 사전 훈련 목적함수를 사용하여, 이력이 없는 냉시작 사용자 및 아이템도 학습된 표현을 통해 유의미한 표현을 얻을 수 있도록 한다.
• 다중 독립적인 사용자-아이템 상호작용 그래프를 활용해 사전 훈련함으로써, 일반화 가능하면서도 유연한 표현을 학습할 수 있도록 한다.
• 이중 단계 훈련 프로세스를 설계한다: 먼저 소스 그래프에서 메타-LGNN을 사전 훈련하고, 이후 GNN 어댑터를 통해 타겟 그래프에 대해 적응시킨다.

실험 결과

연구 질문

• RQ1 그래프 사전 훈련이 GNN 기반 추천 시스템에서 데이터 희소성을 효과적으로 완화할 수 있는가?
• RQ2 공통 사용자나 아이템이 없는 서로 다른 사용자-아이템 상호작용 그래프 간에 지식을 어떻게 전이할 수 있는가?
• RQ3 공통적인 구조적 패턴과 그래프 고유의 특성을 모두 유지할 수 있는 사전 훈련 프레임워크를 설계할 수 있는가?
• RQ4 NLP 및 CV에서처럼 공통 임베딩이나 특징 추출기를 기반으로 하지 않고도 GNN 모델을 사전 훈련할 수 있는가?
• RQ5 제안된 적응형 프레임워크는 희소 데이터에서 기존의 GNN 기반 추천 모델에 비해 성능과 내구성 측면에서 어떻게 비교되는가?

주요 결과

• ADAPT는 최신의 GNN 기반 모델에 비해 희소한 사용자-아이템 상호작용 그래프에서 추천 성능을 크게 향상시킨다.
• 제안된 메타-LGNN은 전역 사용자 및 아이템 임베딩을 학습하지 않음으로써 국소적 협업 필터링 신호를 인코딩함으로써 더 나은 일반화 성능를 달성한다.
• GNN 어댑터는 사전 훈련된 지식을 개별 대상 그래프에 효과적으로 개인화함으로써 타겟 구조에 대한 적응을 향상시킨다.
• 임베딩 재구성 기반 사전 훈련은 냉시작 사용자 및 아이템이 이력이 없더라도 의미 있는 표현을 얻을 수 있도록 도와준다.
• 다양한 벤치마크 데이터셋에서의 광범위한 실험 결과, ADAPT는 특히 낮은 데이터 환경에서 기존 방법들을 능가함을 입증한다.
• 절단 실험 결과, 메타-LGNN과 GNN 어댑터 모두 전체 성능 향상에 기여하는 필수 구성 요소임을 확인한다.