[논문 리뷰] Neural Tensor Factorization

Xian Wu, Baoxu Shi외 3명|arXiv (Cornell University)|2018. 02. 13.

Tensor decomposition and applications참고 문헌 37인용 수 11

한 줄 요약

이 논문은 뉴럴 텐서 분해(Neural Tensor Factorization, NTF)를 제안하며, 이는 릿지 회귀 네트워크(RRN)와 비슷한 최신 기법들보다도 평점 예측 및 링크 예측에서 동적 관계 데이터에서 뛰어난 성능을 보이는 딥러닝 모델이다. NTF는 사용자-아이템 상호작용의 시간적 동적 특성을 추적하기 위해 LSTM 네트워크를 통합하고, 잠재 요소 간의 비선형 상호작용을 모델링하기 위해 다층퍼셉트론(MLP)을 사용한다.

ABSTRACT

Neural collaborative filtering (NCF) and recurrent recommender systems (RRN) have been successful in modeling user-item relational data. However, they are also limited in their assumption of static or sequential modeling of relational data as they do not account for evolving users' preference over time as well as changes in the underlying factors that drive the change in user-item relationship over time. We address these limitations by proposing a Neural Tensor Factorization (NTF) model for predictive tasks on dynamic relational data. The NTF model generalizes conventional tensor factorization from two perspectives: First, it leverages the long short-term memory architecture to characterize the multi-dimensional temporal interactions on relational data. Second, it incorporates the multi-layer perceptron structure for learning the non-linearities between different latent factors. Our extensive experiments demonstrate the significant improvement in rating prediction and link prediction on dynamic relational data by our NTF model over both neural network based factorization models and other traditional methods.

연구 동기 및 목표

• 정적 및 순차적 모델이 관계 데이터 내에서 변화하는 사용자 선호도와 시간에 따라 변화하는 아이템 인식을 포괄하지 못하는 한계를 해결한다.
• 연속된 시간 간격 간의 독립성을 가정하는 전통적인 텐서 분해의 정적 시간 가정을 극복한다.
• 고정 길이 시퀀스를 다루는 것보다는 평점 간 시간 간격을 모델링함으로써 순환 추천 네트워크(RRN)를 초월한다.
• 기존 요인 분해에서 사용하는 선형 내적을 비선형 MLP로 대체하여 잠재 요소 간의 복잡한 상호작용을 더 잘 포착한다.
• 시간, 관계 등 다차원 관계 데이터를 최대한 활용하는 일반화된 프레임워크를 개발한다.

제안 방법

• 시간, 사용자, 아이템의 세 가지 차원으로 구성된 텐서로 동적 사용자-아이템 상호작용을 표현하여 시간에 따른 변화를 인코딩한다.
• 이전 시간 단위에서 학습된 잠재 임베딩을 처리함으로써 LSTM 네트워크를 사용해 시간 간격 간의 순차적 의존성을 모델링한다.
• 기존 텐서 분해에서 사용하는 표준 내적 대신, 연결된 잠재 요소를 입력으로 받는 다층퍼셉트론(MLP)을 도입하여 비선형 상호작용을 모델링한다.
• 역전파를 사용해 끝에서 끝까지 학습하여 평점 예측 및 링크 예측 목표를 최적화한다.
• 잠재 요소에 시간에 따른 부드러운 변화를 보장하기 위해 시간적 부드러움 제약 조건을 통합한다.
• 사용자 및 아이템 임베딩 레이어를 사용해 LSTM 및 MLP 구성 요소에 입력하기 전에 잠재 표현을 초기화한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 텐서 분해 모델이 동적 관계 데이터 내에서 시간에 따라 변화하는 사용자 선호도와 아이템 인식을 효과적으로 포착할 수 있는가?
• RQ2 기존 텐서 분해에서 선형 내적을 비선형 MLP로 대체하면 평점 예측 및 링크 예측 작업에서 성능 향상이 이루어지는가?
• RQ3 NTF 모델은 RRN 및 NCF와 같은 최신 기법들과 비교해 시간적 동적 특성과 시퀀스 변동성을 다룰 때 어떻게 성능을 내는가?
• RQ4 텐서 분해와 LSTM을 통합함으로써 사용자-아이템 상호작용의 순차적 의존성을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 모델은 평점 예측 및 링크 예측 작업과 같은 다양한 종류의 동적 관계 데이터에 대해 일반화 가능한가?

주요 결과

• 넷플릭스 데이터셋에서 NTF는 NCF 및 RRN보다 평점 예측 성능에서 뚜렷한 향상을 보이며, 동적 사용자-아이템 상호작용에 대한 뛰어난 성능을 입증한다.
• 깃헙 데이터셋에서 NTF는 기존 베이스라인보다 링크 예측 성능에서 뛰어나, 변화하는 관계 패턴을 모델링하는 데 효과적임을 시사한다.
• 제거 실험 결과에서 내적을 MLP로 대체함으로써 성능 향상이 명확하게 나타나, 비선형 상호작용을 모델링하는 것이 필요하다는 것을 검증한다.
• 시간 순서대로 정렬된 잠재 표현을 처리하기 위해 LSTM을 사용함으로써, 고정 길이 시퀀스 접근 방식인 RRN보다 시간 의존성을 더 잘 모델링할 수 있다.
• MLP 대신 내적을 사용할 경우 성능이 열등한 것으로 나타나, 선형 상호작용만으로는 복잡한 관계적 역학을 포착하기에 부족함을 확인한다.
• NTF는 수상이나 트렌드 변화 등으로 인한 사용자 선호도나 아이템 인식의 변화를 잠재 공간 내의 부드러운 시간적 궤적을 학습함으로써 효과적으로 포착한다.