[논문 리뷰] Nonlinear Inductive Matrix Completion based on One-layer Neural Networks

Kai Zhong, Zhao Song외 2명|arXiv (Cornell University)|2018. 05. 26.

Recommender Systems and Techniques참고 문헌 17인용 수 3

한 줄 요약

이 논문은 비선형 활성화 함수(예: 시그모이드, 하이퍼탄제트)를 사용하는 일층 신경망을 활용한 비선형 유도 행렬 완성 프레임워크를 제안하여 선형 모델을 초월하는 추천 정확도 향상을 도모한다. 초기화가 진짜 매개변수에 가까울 경우 경사하강법이 전역 최적해로 수렴함을 입증하며, 이는 이웃 영역 내에서 강한 볼록성 덕분이며, 선형 IMC에 비해 추천 및 클러스터링 작업에서 뛰어난 성능을 보인다.

ABSTRACT

The goal of a recommendation system is to predict the interest of a user in a given item by exploiting the existing set of ratings as well as certain user/item features. A standard approach to modeling this problem is Inductive Matrix Completion where the predicted rating is modeled as an inner product of the user and the item features projected onto a latent space. In order to learn the parameters effectively from a small number of observed ratings, the latent space is constrained to be low-dimensional which implies that the parameter matrix is constrained to be low-rank. However, such bilinear modeling of the ratings can be limiting in practice and non-linear prediction functions can lead to significant improvements. A natural approach to introducing non-linearity in the prediction function is to apply a non-linear activation function on top of the projected user/item features. Imposition of non-linearities further complicates an already challenging problem that has two sources of non-convexity: a) low-rank structure of the parameter matrix, and b) non-linear activation function. We show that one can still solve the non-linear Inductive Matrix Completion problem using gradient descent type methods as long as the solution is initialized well. That is, close to the optima, the optimization function is strongly convex and hence admits standard optimization techniques, at least for certain activation functions, such as Sigmoid and tanh. We also highlight the importance of the activation function and show how ReLU can behave significantly differently than say a sigmoid function. Finally, we apply our proposed technique to recommendation systems and semi-supervised clustering, and show that our method can lead to much better performance than standard linear Inductive Matrix Completion methods.

연구 동기 및 목표

• 복잡한 사용자-아이템 관계를 모델링하는 데에 한계가 있는 선형 유도 행렬 완성(IMC)의 문제점을 해결하기 위해.
• 비선형 활성화 함수를 갖는 일층 신경망을 사용하여 비선형 IMC의 확장 버전을 개발하여 사용자 및 아이템 특징의 비선형 패턴을 더 잘 포착하기 위해.
• 비볼록이고 비선형인 설정에서 최적화 수렴에 대한 이론적 보장을 제공하기 위해, 최적해 근처에서 강한 볼록성을 보여줌으로써.
• 이론적 분석을 통해 추천 및 준감독 클러스터링 작업에서 선형 IMC에 비해 본 모델의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 비선형 매핑을 사용하는 예측 함수로 비선형 유도 행렬 완성(NIMC)을 수식화함: A(x,y) = ⟨ϕ(Uᵀx), ϕ(Vᵀy)⟩, 여기서 ϕ는 비선형 활성화 함수이다.
• 매개변수 최적화에 경사하강법을 사용하며, 초기화가 진짜 매개변수에 충분히 가까울 경우 수렴함을 이론적으로 분석함.
• 행렬 농도 부등식과 활성화 함수의 리프시츠 연속성(예: 시그모이드, 하이퍼탄제트)을 활용하여 헤시안과 기울기 항의 추정 오차를 제한함.
• 손실 함수의 헤시안을 분석하고, 특정 활성화 함수에 대해 최적해 근처에서 강한 볼록성을 증명함.
• ReLU와 시그모이드/하이퍼탄제트를 비교하여, 비음성 제약 조건으로 인해 발생하는 행동 및 수렴 특성의 차이를 강조함.
• 관측된 사용자-아이템 평점 쌍 Ω를 기반으로 한 데이터 의존적 샘플링 모델을 도입하여 제한된 데이터로도 효율적으로 모델을 훈련함.

실험 결과

연구 질문

• RQ1 비선형성을 도입함으로써 일층 신경망 기반의 유도 행렬 완성 모델이 선형 IMC보다 더 높은 추천 정확도를 달성할 수 있는가?
• RQ2 이 비볼록이고 비선형 설정에서 경사하강법이 전역 최적해로 수렴하는 조건은 무엇인가?
• RQ3 다양한 활성화 함수(예: ReLU 대비 시그모이드/하이퍼탄제트)는 최적화 행동과 모델 성능에 어떤 영향을 미치는가?
• RQ4 이 비선형 프레임워크에서 최적화 과정의 수렴에 대해 어떤 이론적 보장이 가능할 수 있는가?
• RQ5 실제 추천 및 준감독 클러스터링 작업에서 이 모델은 선형 IMC에 비해 어떻게 성능을 발휘하는가?

주요 결과

• 시그모이드 또는 하이퍼탄제트 활성화 함수를 사용하는 제안된 NIMC 모델은 표준 선형 IMC보다 추천 및 클러스터링 작업에서 유의미하게 뛰어난 성능을 보였다.
• 손실 함수가 이웃 영역에서 강한 볼록성을 띠므로, 초기화가 진짜 매개변수에 가까울 경우 경사하강법이 전역 최적해로 수렴함을 입증함.
• 이론적 분석을 통해 손실 함수의 헤시안이 최적해 근처에서 잘 조절되어 있어 효율적인 최적화가 가능함을 보여줌.
• ReLU 기반 모델은 잠재 공간의 비음성 제약 조건으로 인해 다른 행동을 보이며, 데이터의 특성에 따라 유리하거나 제한적인 영향을 미칠 수 있음.
• 모델은 관측된 평점 수가 적은 경우에도 작동하며, 파라미터 수가 적어 자료가 부족한 환경에 적합함.
• 실증 결과는 비선형 모델이 추천 및 클러스터링 작업에서 여러 벤치마크 데이터셋에서 선형 IMC를 뛰어넘는 성능을 보임을 확인함.