[논문 리뷰] Interacting Attention-gated Recurrent Networks for Recommendation

Wenjie Pei, Jie Yang외 4명|arXiv (Cornell University)|2017. 09. 05.

Recommender Systems and Techniques참고 문헌 42인용 수 11

한 줄 요약

이 논문은 상호작용 어텐션 게이팅 순환 네트워크(IARN)를 제안하며, 이는 역사적 상호작용의 관련성을 가중하기 위해 상호작용 어テン션 메커니즘을 사용하여 사용자 및 아이템 동역학을 함께 모델링하는 새로운 추천 모델이다. IARN은 실세계 데이터셋에서 평점 예측의 평균 RMSE 기준으로 최신 기술(SOTA)을 8.58% 초월하며, 사용자 및 아이템 역사에 대한 동적이고 해석 가능한 어텐션을 통해 랭킹 성능도 뛰어나다.

ABSTRACT

Capturing the temporal dynamics of user preferences over items is important for recommendation. Existing methods mainly assume that all time steps in user-item interaction history are equally relevant to recommendation, which however does not apply in real-world scenarios where user-item interactions can often happen accidentally. More importantly, they learn user and item dynamics separately, thus failing to capture their joint effects on user-item interactions. To better model user and item dynamics, we present the Interacting Attention-gated Recurrent Network (IARN) which adopts the attention model to measure the relevance of each time step. In particular, we propose a novel attention scheme to learn the attention scores of user and item history in an interacting way, thus to account for the dependencies between user and item dynamics in shaping user-item interactions. By doing so, IARN can selectively memorize different time steps of a user's history when predicting her preferences over different items. Our model can therefore provide meaningful interpretations for recommendation results, which could be further enhanced by auxiliary features. Extensive validation on real-world datasets shows that IARN consistently outperforms state-of-the-art methods.

연구 동기 및 목표

• 기존 방법이 사용자-아이템 상호작용 역사의 모든 시간 단계를 동일하게 관련성이 있다고 간주하는 데서 비롯되는 한계를 해결하고자 한다. 특히 의도하지 않은 상호작용이 있을 경우에도 마찬가지로 간주함으로써 발생하는 문제를 해결하고자 한다.
• 사용자 및 아이템 동역학을 별도로 학습하는 방식은 사용자 선호도에 대한 이 둘의 상호 영향을 포착하지 못한다는 점을 해결하고자 한다.
• 개인화된 추천을 위해 관련된 역사적 상호작용을 어텐션 기반으로 선택할 수 있도록 해석 가능한 기능을 제공하고자 한다.
• 보조 특징(예: 아이템 카테고리, 사용자 인구통계학적 정보)을 효과적으로 통합하여 추천 성능을 향상시키고자 한다.
• 시간적 동역학을 공동 사용자-아이템 어텐션으로 모델링하는 통합 프레임워크를 개발하여 추천 정확도를 향상시키고자 한다.

제안 방법

• IARN은 순차적 사용자 및 아이템 상호작용 역사 시퀀스를 모델링하기 위해 게이팅 순환 네트워크(GRU 또는 LSTM)를 사용한다.
• 사용자 및 아이템 역사에 대한 어텐션 점수를 함께 최적화하는 방식으로 상호작용 어텐션 메커니즘을 도입하여 사용자 및 아이템 동역학 간의 종속성을 포착한다.
• 어텐션 메커니즘은 사용자 및 아이템 시퀀스의 각 시간 단계에 동적 가중치를 할당하여 관련된 역사적 상호작용을 선택적으로 기억하도록 한다.
• 모델은 표현 학습을 향상시키기 위해 보조 특징(예: 아이템 카테고리, 사용자 인구통계학적 정보)을 어텐션 및 게이팅 메커니즘에 통합한다.
• 최종 예측은 피드포워드 네트워크를 통해 주어진 어텐션 기반 사용자 및 아이템 표현을 조합하여 생성된다.
• 모델은 관측된 평점의 예측 오차를 최소화하기 위해 평균 제곱오차(MSE) 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 사용자 및 아이템 동역학을 함께 모델링하는 어텐션 메커니즘이 별도로 모델링하는 것보다 추천 성능을 향상시키는가?
• RQ2 상호작용 어텐션 메커니즘이 예측을 위한 역사적 상호작용의 더 해석 가능하고 의미 있는 선택을 이끌어내는가?
• RQ3 보조 특징의 통합이 제안된 모델의 성능에 어떤 영향을 미치는가?
• RQ4 IARN은 평점 예측 및 아이템 랭킹 작업 양 측면에서 최신 기술(SOTA)을 초월하는가?
• RQ5 IARN의 성능 향상은 여러 실세계 데이터셋에서 통계적으로 유의미한가?

주요 결과

• IARN은 실세계 데이터셋 6개에서 평점 예측 성능을 평균 8.58% 향상시켰으며, 이는 RMSE 기준이다.
• IARN의 성능 향상은 모든 데이터셋에서 대응 t-검정에서 p-값 < 0.01을 기록하여 통계적으로 유의미하다.
• IARN은 모든 베이스라인 방법보다 아이템 랭킹 성능에서 뛰어나, 개인화된 랭킹 작업의 효과성을 입증한다.
• 모델의 어텐션 점수는 주어진 추천에 대해 가장 관련성이 높은 역사적 상호작용을 이해하는 데 있어 해석 가능한 통찰을 제공한다.
• 보조 특징의 통합은 IARN의 성능을 추가로 향상시키며, 이는 복잡한 사용자-아이템 동역학을 모델링하는 데 있어 보조 특징의 가치를 확인한다.
• IARN은 평점 예측과 랭킹 양 측면에서 뛰어난 성능을 보이며, 모델의 목적 함수가 RMSE 최적화를 위해 설계되어 있어 랭킹 성능 향상 폭은 평점 예측보다는 더 작다.