[논문 리뷰] Detecting Relevant Feature Interactions for Recommender Systems via Graph Neural Networks.

Yixin Su, Rui Zhang외 2명|arXiv (Cornell University)|2020. 08. 02.

Recommender Systems and Techniques참고 문헌 29인용 수 1

한 줄 요약

이 논문은 추천 시스템에서 관련 있는 특징 상호작용만 탐지하고 활용하는 그래프 신경망 모델인 L0-SIGN을 제안한다. 특징을 노드로, 상호작용을 간선으로 모델링함으로써 그래프를 구성한다. 간선 예측에 L0 정규화를 사용하고, 그래프 분류에 SIGN을 적용함으로써 통계적으로 의미 있는, 정보 이론적 최적의 상호작용에 집중함으로써 추천 정확도와 해석 가능성 향상.

ABSTRACT

Feature interactions are essential for achieving high accuracy in recommender systems (RS), so they have been taken into consideration in many existing RS, where all feature interactions are modeled. Nevertheless, not all feature interactions have positive effects for RS: modeling the irrelevant feature interactions may introduce noises and degrade the accuracy. To overcome this problem, in this work, we propose a graph neural network-based model, L0-SIGN, to detect the relevance of feature interactions and utilize only the relevant ones for RS, with features as nodes and feature interactions as edges. Generally, our model consists of two components: an L0 regularization based edge prediction model to explicitly detect relevant feature interactions; and a graph classification model, SIGN, to effectively model and aggregate the detected ones for recommendations. These two components positively influence each other to ensure that the most relevant feature interactions will be detected and modeled. In addition, we further prove that the effectiveness of our model is theoretically sound. We first show that our model is a variational approximation of information bottleneck principle, i.e., the detected feature interactions are guaranteed to be most relevant. We then show that our model follows the definition of statistical interactions, proving that the modeling of detected feature interactions in L0-SIGN is effective. Experimental results show that (i) L0-SIGN outperforms existing baselines in terms of accuracy, and (ii) the detected feature interactions are beneficial for performance gain and interpretability.

연구 동기 및 목표

• 노이즈가 많고 관련성이 없는 특징 상호작용으로 인한 추천 시스템 정확도 저하 문제를 해결하기 위해.
• 추천을 위해 가장 관련성이 높은 특징 상호작용만 명시적으로 탐지하는 방법을 개발하기 위해.
• 탐지된 상호작용이 통계적으로 의미 있고 정보 이론적으로 최적임을 보장하기 위해.
• 예측 성능에 기여하는 상호작용에 집중함으로써 모델의 해석 가능성 향상하기 위해.

제안 방법

• 특징을 노드로, 특징 상호작용을 간선으로 모델링하여 이질적인 그래프 구조를 형성한다.
• 불필요한 상호작용을 제거함으로써 관련 있는 특징 상호작용을 식별하는 L0 정규화 기반 간선 예측 모듈을 활용한다.
• 검출된 상호작용을 통해 정보를 효과적으로 집계하고 전파하기 위해 SIGN(Simple Graph Convolution) 모델을 통합한다.
• 간선 탐지와 추천 예측이 상호 보완적으로 향상되도록 공동 최적화 프레임워크를 사용한다.
• 이론적 분석을 통해 탐지된 상호작용이 정보 버블링 원리의 변동형 근사임을 입증한다.
• 탐지된 상호작용이 통계적 상호작용의 형식적 정의를 충족함을 증명하여 그 관련성과 효과성을 보장한다.

실험 결과

연구 질문

• RQ1 노이즈를 줄이기 위해 추천 시스템에서 가장 관련성이 높은 특징 상호작용만 효과적으로 탐지할 수 있는가?
• RQ2 기존의 GNN과 비교해 L0 정규화를 사용할 경우 의미 있는 특징 상호작용의 식별에 더 나은 성능을 보이는가?
• RQ3 탐지된 특징 상호작용은 더 나은 추천 정확도와 모델의 해석 가능성으로 이어지는가?
• RQ4 정보 버블링 원리와 통계적 상호작용 원리에 기반해 탐지된 상호작용 집합이 이론적으로 타당한가?

주요 결과

• L0-SIGN은 다양한 벤치마크 데이터셋에서 기존 최고 수준의 기준 모델들을 능가하는 추천 정확도를 확보한다.
• 모델은 노이즈를 줄이기 위해 희박하지만 매우 관련성이 높은 특징 상호작용의 부분집합에 집중함으로써 성능 향상을 달성한다.
• 탐지된 특징 상호작용은 통계적으로 의미 있고 정보 버블링 원리와 일관됨이 입증된다.
• 모델의 해석 가능성은 예측에 사용되는 상호작용의 수가 적고 관련성이 높기 때문에 향상된다.
• 이론적 분석을 통해 탐지된 상호작용이 정보 관련성과 통계적 유의성 측면에서 최적임을 확인한다.
• 실험 결과는 L0-SIGN 프레임워크가 다양한 추천 시나리오에 걸쳐 강건하고 일반화 가능함을 보여준다.