[논문 리뷰] Extendable Neural Matrix Completion

Duc Minh Nguyen, Evaggelia Tsiligianni외 1명|arXiv (Cornell University)|2018. 05. 13.

Image and Signal Denoising Methods참고 문헌 17인용 수 4

한 줄 요약

이 논문은 재학습 없이도 알려지지 않은 사용자나 아이템으로의 확장이 가능한, 행렬 완성에 적합한 두 가지 분기 구조를 가진 딥 네ural 네트워크 모델인 신경 행렬 완성(Neural Matrix Completion, NMC)을 제안한다. 인자 분해 기반 아키텍처와 컨볼루션 요약 레이어를 통해 공동 잠재 표현을 학습함으로써, ML-1M 및 넷플릭스와 같은 벤치마크 데이터셋에서 최고 성능을 기록하고 있으며, 확장성 면에서도 뛰어난 성능을 발휘한다.

ABSTRACT

Matrix completion is one of the key problems in signal processing and machine learning, with applications ranging from image pro- cessing and data gathering to classification and recommender sys- tems. Recently, deep neural networks have been proposed as la- tent factor models for matrix completion and have achieved state- of-the-art performance. Nevertheless, a major problem with existing neural-network-based models is their limited capabilities to extend to samples unavailable at the training stage. In this paper, we propose a deep two-branch neural network model for matrix completion. The proposed model not only inherits the predictive power of neural net- works, but is also capable of extending to partially observed samples outside the training set, without the need of retraining or fine-tuning. Experimental studies on popular movie rating datasets prove the ef- fectiveness of our model compared to the state of the art, in terms of both accuracy and extendability.

연구 동기 및 목표

• 기존의 신경 행렬 완성 모델이 재학습 없이 새로운 사용자나 아이템으로의 일반화가 불가능한 한계를 해결한다.
• 재학습 없이도 빠른 추론이 가능한 높은 예측 정확도를 유지하는 방법을 개발한다.
• 극도로 희박하고 대규모인 실세계의 고차원 데이터셋, 예를 들어 넷플릭스 데이터셋에 행렬 완성을 적용할 수 있도록 한다.
• 암시적 피드백이나 외부 데이터에 의존하지 않고, 오직 관측된 평점(명시적 피드백)에만 기반한 모델을 설계한다.
• 다양한 행렬 차원과 희박성 수준에서 확장 가능하고 효과적인 모델을 확보한다.

제안 방법

• 행렬의 행과 열 샘플(예: 사용자와 아이템)을 공유된 잠재 공간으로 매핑하는 두 분기 구조의 딥 네럴 네트워크를 제안한다.
• 사용자-아이템 상호작용을 잠재 공간 내의 내적 곱으로 모델링하는 인자 분해 원리를 적용한다.
• 입력 표현을 압축하고 고차원 행렬에 대한 확장성을 확보하기 위해 학습 가능한 필터와 스트라이드를 갖춘 컨볼루션 요약 레이어를 통합한다.
• 재구성 오차의 프로베니우스 노름 최소화를 통해 훈련 세트의 관측된 항목을 기반으로 모델을 종합적으로 훈련시킨다.
• 에ncoder 분기의 가중치를 동결하고, 학습된 잠재 표현을 활용해 내적 곱 계산을 통해 새로운 샘플의 누락된 값을 추론함으로써 확장성을 확보한다.
• ML-1M 데이터셋에서 과적합을 방지하기 위해 드롭아웃 정규화(비율 0.6)를 적용한다.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크 기반의 행렬 완성 모델은 재학습 없이나 미리 학습되지 않은 사용자나 아이템으로도 일반화가 가능한가?
• RQ2 실세계의 고차원 데이터셋에서 최고 성능 모델들과 비교해 본다면, 제안된 모델은 정확도와 확장성 면에서 어떤 성능을 보이는가?
• RQ3 컨볼루션 요약 레이어는 넷플릭스와 같은 대규모 행렬에서 확장성과 성능 향상에 얼마나 기여하는가?
• RQ4 훈련 샘플과 겹치지 않는 영역에서 테스트된 데이터에 대해서도 모델은 강력한 성능을 유지하는가?
• RQ5 암시적 사용자 상호작용에 의존하지 않고도 명시적 피드백만으로도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• NMC-S 모델은 ML-1M 데이터셋에서 최고 성능을 기록했으며, 영역(II)과 (III)에서 I-Autorec 및 U-Autorec를 앞서며, 유일하게 영역(IV)으로의 확장이 가능한 모델이다.
• 넷플릭스 데이터셋에서는 (I) 및 (III) 영역에서 최고 성능을 내지 못했지만, (II) 및 (IV) 영역에서 최고 성능을 기록하여 강력한 일반화 및 확장성 능력을 입증했다.
• 모델은 모든 평가 영역에서 경쟁 가능한 정확도를 유지하며, RMSE 및 MAE 값이 항상 최고 성능 기준 모델과 유사하거나 뛰어나, 특히 미리 학습되지 않은 데이터 시나리오에서 뛰어난 성능을 보였다.
• 요약 레이어의 사용 덕분에 고차원 행렬, 특히 입력 차원이 매우 큰 넷플릭스 데이터셋과 같은 경우에도 효과적으로 대응할 수 있었다.
• NMC-S는 암시적 피드백이나 외부 정보 없이도 명시적 피드백만으로도 뛰어난 성능을 달성하여, 실세계 환경에서의 적용 가능성을 높였다.
• 모델의 확장성은 경험적으로 검증되었으며, 재학습 없이도 학습된 잠재 표현을 활용해 새로운 사용자나 아이템의 누락된 항목을 예측할 수 있었다.