[논문 리뷰] Rethinking Neural vs. Matrix-Factorization Collaborative Filtering: the Theoretical Perspectives

Da Xu, Chuanwei Ruan외 3명|arXiv (Cornell University)|2021. 10. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 54인용 수 4

한 줄 요약

이 논문은 신경 collaborative 필터링(NCF)과 행렬 분해 기반 협업 필터링(MCF)에 대한 엄밀한 이론적 분석을 제공하며, 경사하강법 하에서 두 모델이 동일한 노름 제약 최대 마진 솔루션으로 수렴함을 보여준다. MCF는 전이 설정에서 더 우수한 일반화 성능을 보이며, NCF는 유도 설정에서 노출 편향을 앓는다. 이에 새로운 일반화 경계가 데이터가 무작위로 누락되지 않은 분포를 고려하여 제안된다.

ABSTRACT

The recent work by Rendle et al. (2020), based on empirical observations, argues that matrix-factorization collaborative filtering (MCF) compares favorably to neural collaborative filtering (NCF), and conjectures the dot product's superiority over the feed-forward neural network as similarity function. In this paper, we address the comparison rigorously by answering the following questions: 1. what is the limiting expressivity of each model; 2. under the practical gradient descent, to which solution does each optimization path converge; 3. how would the models generalize under the inductive and transductive learning setting. Our results highlight the similar expressivity for the overparameterized NCF and MCF as kernelized predictors, and reveal the relation between their optimization paths. We further show their different generalization behaviors, where MCF and NCF experience specific tradeoff and comparison in the transductive and inductive collaborative filtering setting. Lastly, by showing a novel generalization result, we reveal the critical role of correcting exposure bias for model evaluation in the inductive setting. Our results explain some of the previously observed conflicts, and we provide synthetic and real-data experiments to shed further insights to this topic.

연구 동기 및 목표

• 신경 협업 필터링(NCF)이 행렬 분해 기반 협업 필터링(MCF)을 능가하는지에 대한 오랫동안 이어져 온 논란을 엄밀한 이론적 기반으로 해결하기 위해.
• 과다 파rameter화된 상태에서 NCF와 MCF의 극한 표현력을 커널 기반 예측기로 분석하기 위해.
• 양 모델의 경사하강법 최적화 경로에서의 유도 편향을 분석하고 수렴 행동을 규명하기 위해.
• 특히 데이터가 무작위로 누락되지 않은(MNAR) 조건에서, 전이 및 유도 학습 설정 하에서의 일반화 성능을 비교하기 위해.
• 유도 협업 필터링에서의 노출 편향을 고려한 새로운 일반화 경계를 유도하여 모델 평가 신뢰도를 향상시키기 위해.

제안 방법

• NCF와 MCF의 극한 표현력을 커널 기반 예측기로 분석하기 위해 신경 탄성 커널(NTK) 프레임워크를 활용한다.
• 경사하강법 하에서 NCF와 MCF가 모두 노름 제약 최대 마진 솔루션으로 수렴함을 보여주는 통합 최적화 분석을 유도한다.
• 전이 및 유도 설정에서의 일반화 행동을 비교하기 위해 증명 가능하게 날카로운 노름 제약 용량 분석을 도입한다.
• 유도 학습에서의 노출 편향을 보정하기 위해 역확률 가중치(IPW) 보정 기반 메커니즘을 제안하여 일반화 평가를 향상시킨다.
• 합성 및 실세계 데이터 실험을 통해 이론적 결과를 검증하며, 편향된 및 편향 없는 평가 지표 하에서 AUC 비교를 포함한다.
• 정확한 핵노름 최대 마진 솔루션을 비교하기 위해 볼록 최적화(CVXOPT)를 사용하여 MCF 및 NCF 예측과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 과다 파arameter화된 상태에서 NCF와 MCF가 커널 기반 예측기로 볼 때 극한 표현력은 무엇인가?
• RQ2 경사하강법 최적화 하에서 NCF와 MCF는 어떤 솔루션으로 수렴하며, 그 최적화 경로는 어떻게 비교 가능한가?
• RQ3 NCF와 MCF는 전이 설정과 유도 설정에서 어떻게 일반화되는가?
• RQ4 노출 편향은 모델 평가에 어떤 역할을 하는가? 그리고 어떻게 보정하여 유도 설정에서의 일반화 평가를 향상시킬 수 있는가?
• RQ5 실제 관측 분포와 노출 분포 간의 괴리가 모델 일반화에 어떤 영향을 미치며, 이를 이론적으로 경계할 수 있는가?

주요 결과

• 경사하강법 하에서 NCF와 MCF는 모두 노름 제약 최대 마진 솔루션으로 수렴함을 보여, 구조적 차이에도 불구하고 공통된 유도 편향을 가짐을 시사한다.
• 과다 파arameter화된 NCF와 MCF의 표현력은 커널 기반 예측기로 볼 때 동일하며, 무한한 너비 근처에서 동일한 함수 클래스를 모델링한다.
• 전이 설정에서 MCF는 데이터 분포 이동에 대한 내재된 불변성 덕분에 NCF보다 더 우수한 일반화 성능을 보이며, NCF는 노출 편향으로 인해 성능이 열 劣하다.
• 유도 설정에서 노출 편향이 보정되지 않은 NCF는 일반화 성능이 열 劣하지만, 역확률 가중치(IPW) 보정을 통해 성능이 크게 향상된다.
• 데이터가 무작위로 누락되지 않은(MNAR) 메커니즘을 고려한 새로운 일반화 경계가 유도되었으며, 이는 노출 편향 보정이 신뢰할 수 있는 평가에 필수적임을 보여준다.
• 실험 결과, IPW를 적용한 NCF는 MCF와 동등한 편향 없는 AUC 성능을 달성하여 이전의 모델 비교에서의 경험적 모순을 해결한다.