[논문 리뷰] Neural Network Matrix Factorization

Gintare Karolina Dziugaite, Daniel M. Roy|arXiv (Cornell University)|2015. 11. 19.

Neural Networks and Applications참고 문헌 15인용 수 144

한 줄 요약

이 논문은 전통적인 행렬 분해에서 고정된 내적을 학습 가능한 다층 순전파 신경망으로 대체하는 신경망 행렬 분해(NNMF)를 제안한다. NNMF는 PMF와 BiasedMF와 같은 표준 저랭크 방법보다 벤치마크 협업 필터링 데이터셋에서 뛰어난 성능을 보이며, 그래프 인식 모델에 비해 뒤처지지만 아키텍처 설계와 훈련 측면에서 여전히 큰 잠재력이 남아 있음을 시사한다.

ABSTRACT

Data often comes in the form of an array or matrix. Matrix factorization techniques attempt to recover missing or corrupted entries by assuming that the matrix can be written as the product of two low-rank matrices. In other words, matrix factorization approximates the entries of the matrix by a simple, fixed function---namely, the inner product---acting on the latent feature vectors for the corresponding row and column. Here we consider replacing the inner product by an arbitrary function that we learn from the data at the same time as we learn the latent feature vectors. In particular, we replace the inner product by a multi-layer feed-forward neural network, and learn by alternating between optimizing the network for fixed latent features, and optimizing the latent features for a fixed network. The resulting approach---which we call neural network matrix factorization or NNMF, for short---dominates standard low-rank techniques on a suite of benchmark but is dominated by some recent proposals that take advantage of the graph features. Given the vast range of architectures, activation functions, regularizers, and optimization techniques that could be used within the NNMF framework, it seems likely the true potential of the approach has yet to be reached.

연구 동기 및 목표

• 고정된 내적 대신 학습 가능한 신경망 함수를 사용하여 전통적인 저랭크 행렬 분해를 향상시키기.
• 신경망을 통해 비선형 함수를 학습하는 것이 사용자-아이템 평점과 같은 희소한 관계 데이터에서 예측 성능을 향상시키는지 조사하기.
• 잠재적 특징 학습과 종단 간 신경망 최적화를 통합적으로, 번갈아가며 적용하는 잠재적 가능성 탐색하기.
• 표준 협업 필터링 벤치마크에서 최신 모델인 NTN, AutoRec, LLORMA와 비교해 NNMF의 확장성과 성능 평가하기.

제안 방법

• 기본 행렬 분해의 내적 $ U_n^T V_m $ 을 다층 순전파 신경망 $ f_\theta(U_n \circ V_m) $ 로 대체하며, 여기서 $ \circ $ 는 원소별 곱셈을 의미한다.
• 특징를 고정하고 네트워크를 훈련한 후, 네트워크를 고정하고 특징를 업데이트하는 방식으로 교대로 경사 하강법을 사용해 신경망 가중치 $ \theta $ 와 잠재 특징 벡터 $ U_n, V_m $ 를 최적화한다.
• 잠재 특징 벡터에 $ \ell_2 $ 정규화를 적용하고, 검증 세트 성능을 기반으로 정규화 파라미터 $ \lambda $ 를 튜닝한다.
• 예측 결과를 $[0,1]$ 범위로 제한하기 위해 출력층에 시그모이드 비선형성을 적용하여 MovieLens와 같은 데이터셋의 평점 척도와 일치시킨다.
• 메모리 제약을 고려해 대규모 데이터셋인 ML-1M과 같은 경우 표준 확률적 경사 하강법과 미니배치를 사용해 훈련한다.
• 일致한 초모수와 교차 검증을 사용해 테스트 세트의 RMSE를 기준으로 성능을 평가하며, PMF, BiasedMF, NTN, RFM, LLORMA, AutoRec와 비교한다.

실험 결과

연구 질문

• RQ1 신경망을 통해 학습 가능한 비선형 함수를 사용하면, 협업 필터링에 대해 고정된 내적 대비 예측 성능이 향상되는가?
• RQ2 표준 벤치마크 데이터셋에서 RMSE 측면에서 NNMF는 PMF, BiasedMF, NTN와 비교해 어떻게 성능을 내는가?
• RQ3 더 깊은 네트워크 아키텍처(예: 4층 네트워크)가 성능 향상에 기여하는가? 깊이, 너비, 일반화 능력 간의 상충 관계는 어떠한가?
• RQ4 아키텍처 선택, 활성화 함수, 정규화 전략 등의 요소가 현재 성능을 넘어서 NNMF의 성능을 향상시키는 데 얼마나 기여할 수 있는가?
• RQ5 LLORMA와 유사하게 국소화된 버전의 NNMF가 희소하고 고차원적인 환경에서 전역 모델보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• NNMF는 MovieLens와 Protein 데이터셋에서 잠재 특징 기반 모델 중 최고 성능을 기록하며, PMF, BiasedMF, RFM를 모두 능가한다.
• ML-100K 데이터셋에서 NNMF는 RMSE 0.875를 기록했으며, 이는 PMF의 0.901과 BiasedMF의 0.894보다 유의미하게 낮다.
• NTN 모델(약 180,000 파라미터 대비 약 9,000 파라미터)보다도 성능이 뛰어나며, 이는 파라미터 용량보다 아키텍처 설계와 효율성이 더 중요함을 시사한다.
• 각 레이어에 20개의 뉴런을 가지며 $ (D, D') = (10, 80) $ 인 4층 히든 레이어를 가진 NNMF 변형이 얕거나 넓은 구조보다 더 뛰어난 성능을 보였지만, 정규화와 초기화를 신중히 하지 않으면 깊은 네트워크는 포화 또는 과적합을 겪을 수 있다.
• NNMF에 편향 보정 항을 추가하면 약 0.003 RMSE 향상이 있었지만, 이는 데이터셋 간에 일관되지 않으며 효과가 미미했다.
• 강력한 성능에도 불구하고, NNMF는 AutoRec 및 LLORMA의 국소화된 버전과 같은 그래프 인식 모델에 의해 압도되며, 협업 필터링에서 국소적 구조적 정보를 통합하는 것이 여전히 핵심적인 이점임을 시사한다.