[논문 리뷰] Detecting Beneficial Feature Interactions for Recommender Systems

Yixin Su, Rui Zhang외 2명|arXiv (Cornell University)|2020. 08. 02.

Recommender Systems and Techniques참고 문헌 41인용 수 9

한 줄 요약

이 논문은 그래프 신경망 모델인 L₀-SIGN을 제안하며, 간선 예측을 위해 L₀ 활성화 정규화를 사용하여 추천 시스템에서 가장 유익한 특징 상호작용을 자동으로 탐지하고 활용한다. 이 방법은 잡음이 많고 관련성이 없는 상호작용을 걸러내면서도 통계적으로 유의미한 상호작용은 유지함으로써 추천 정확도를 향상시킨다. 이는 이론적 분석과 다양한 데이터셋에서의 실증 결과를 통해 검증되었다.

ABSTRACT

Feature interactions are essential for achieving high accuracy in recommender systems. Many studies take into account the interaction between every pair of features. However, this is suboptimal because some feature interactions may not be that relevant to the recommendation result, and taking them into account may introduce noise and decrease recommendation accuracy. To make the best out of feature interactions, we propose a graph neural network approach to effectively model them, together with a novel technique to automatically detect those feature interactions that are beneficial in terms of recommendation accuracy. The automatic feature interaction detection is achieved via edge prediction with an L0 activation regularization. Our proposed model is proved to be effective through the information bottleneck principle and statistical interaction theory. Experimental results show that our model (i) outperforms existing baselines in terms of accuracy, and (ii) automatically identifies beneficial feature interactions.

연구 동기 및 목표

• 기존 모델에서 노이즈가 많고 관련성이 없는 특징 상호작용이 추천 정확도를 떨어뜨리는 문제를 해결하기 위해.
• 추천 성능을 가장 크게 향상시키는 '유익한 특징 상호작용'을 탐지하는 새로운 문제를 정의하고 해결하기 위해.
• 예측을 위해 가장 관련성이 높은 특징 상호작용만 자동으로 식별하고 유지하는 모델을 개발하기 위해.
• 정보 버블링 원리와 통계적 상호작용 이론의 이론적 기반을 실용적인 GNN 기반 추천 프레임워크에 통합하기 위해.

제안 방법

• 특징이 노드이고 특징 상호작용이 간선인 그래프 신경망을 사용하여 샘플별로 고유한 그래프를 구성한다.
• L₀ 간선 예측 모듈이 간선 존재 여부를 예측함으로써 유익한 상호작용을 탐지하며, L₀ 활성화 정규화를 통해 중요하지 않은 간선이 제거되도록 유도한다 (0으로 설정).
• 통계적 상호작용 그래프 신경망(SIGN) 구성 요소는 탐지된 유익한 상호작용만 모델링하고 집계하여 최종 예측을 수행한다.
• 정보 버블링 원리의 변분 근사에 기반한 이론적 근거를 제공하여, 오직 가장 관련성이 높은 상호작용만 유지됨을 보장한다.
• 추천 정확도와 상호작용의 희소성 둘 다를 동시에 최적화하여 성능 향상과 노이즈 감소 사이의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 추천 정확도 향상에 가장 기여하는 특징 상호작용은 무엇인가?
• RQ2 GNN 기반 모델이 노이즈가 많은 상호작용을 기각하면서도 가장 관련성이 높은 특징 상호작용만 자동으로 탐지하고 유지할 수 있는가?
• RQ3 L₀ 정규화의 통합이 추천 시스템에서 유익한 특징 상호작용의 선별에 어떻게 기여하는가?
• RQ4 탐지된 상호작용이 개별 예측에 대해 얼마나 해석 가능한 설명을 제공할 수 있는가?

주요 결과

• L₀-SIGN은 Frappe, Movielens, Twitter, DBLP를 포함한 모든 평가된 데이터셋에서 기존 베이스라인을 능가하는 추천 정확도를 확보했다.
• 검출된 간선 수가 안정화될 때 정점 예측 정확도가 최고에 도달함을 확인하여, 관련성이 없는 상호작용이 효과적으로 제거됨을 시사한다.
• 예측된 간선(유익한 상호작용)을 사용할 경우 반대 간선(제거된 상호작용)을 사용하는 것보다 항상 더 높은 정확도를 기록함으로써 탐지의 유용성을 확인했다.
• 사례 연구 결과, 모델이 의미 있고 해석 가능한 상호작용을 식별함을 확인했다. 예를 들어 'Workday'는 Gmail 사용과 정확히 상관관계가 있으며, 'Home'은 부정적인 상관관계를 보였다.
• 학습 과정에서 간선 수가 급격히 감소하는 동안 정확도가 증가함을 관찰하여, L₀ 정규화를 통한 효과적인 노이즈 감소를 입증했다.
• 이론적 분석을 통해 L₀-SIGN의 최적화 절차가 정보 버블링 원리를 근사함을 확인하였으며, 이는 오직 가장 관련성이 높은 상호작용만 유지됨을 보장한다.