[논문 리뷰] Next Item Recommendation with Self-Attention

Shuai Zhang, Yi Tay외 2명|arXiv (Cornell University)|2018. 08. 20.

Recommender Systems and Techniques참고 문헌 44인용 수 51

한 줄 요약

AttRec은 self-attention 기반의 순차 추천기로, 단기 사용자 의도는 self-attention으로, 장기 선호도는 metric learning으로 모델링하며, 다양한 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel sequence-aware recommendation model. Our model utilizes self-attention mechanism to infer the item-item relationship from user's historical interactions. With self-attention, it is able to estimate the relative weights of each item in user interaction trajectories to learn better representations for user's transient interests. The model is finally trained in a metric learning framework, taking both short-term and long-term intentions into consideration. Experiments on a wide range of datasets on different domains demonstrate that our approach outperforms the state-of-the-art by a wide margin.

연구 동기 및 목표

• 더 나은 순차 추천을 위해 사용자의 이력 내 아이템 간 상호작용을 모델링해야 할 필요성을 제시한다.
• 최근 상호작용으로부터 단기 사용 의도를 포착하기 위한 self-attention 기반 모듈을 도입한다.
• 자체 주의 표현과 협업 metric learning 구성요소를 연결하여 장기 사용자 선호를 모델링한다.
• dense 및 sparse 데이터셋에서 AttRec를 포괄적으로 평가하고 하이퍼파라미터 및 어텐션 동작을 분석한다.

제안 방법

• 쿼리, 키, 값이 마지막 L개의 상호작용 아이템에서 도출되는 self-attention 모듈을 사용하여 사용자의 의도에 대한 주의력 있는 단기 표현을 생성한다.
• 투사 전에 쿼리와 키에 더해지는 위치(시간) 임베딩을 통해 시간 정보를 포함한다.
• 잠재 요인 U(사용자)와 V(아이템)를 통해 장기 사용자 선호도와 아이템 임베딩을 표현하고 유클리드 거리로 상호작용을 모델링한다.
• 단기 신호(m_t via self-attention)와 장기 신호를 하나의 점수 y_{t+1} = ω ||U_u - V_{H^u_{t+1}}||^2 + (1-ω) ||m^u_t - X^u_{t+1}||^2로 결합한다.
• 양성/음성 아이템에 대한 페어와이즈 마진 기반 힌지 손실로 학습하고 L2로 정규화하며, 적응형 그래디언트 최적화를 사용한다.
• L(단기 창), T(다음 아이템들) 및 기타 하이퍼파라미터를 격자 검색으로 설정하고, 다수의 데이터셋에서 HR@50 및 MRR로 평가한다.

실험 결과

연구 질문

• RQ1 AttRec이 다양한 순차 추천 데이터셋에서 최첨단 성능을 달성하는가?
• RQ2 self-attention 구성요소가 단기 의도 및 전체 랭킹 성능 모델링에 어떤 영향을 미치는가?
• RQ3 주요 하이퍼파라미터(예: L, 집계 방법, ω, d)가 성능에 미치는 영향은 무엇인가?
• RQ4 AttRec이 밀집한 데이터셋과 희박한 데이터셋 모두에서 잘 작동하고 짧은 시퀀스를 효과적으로 처리할 수 있는가?

주요 결과

• AttRec은 12 개의 벤치마크 데이터셋에서 HR@50와 MRR 지표에 대해 모든 베이스라인을 지속적으로 능가한다.
• 적소 실험에서 self-attention를 포함하면 비주의적 버전에 비해 성능이 향상되며, 일부 데이터셋에서는 이를 사용하지 않아도 여전히 경쟁력이 있다.
• Self-attention 어텐션 맵은 해석 가능하며, 단순히 가장 최근 아이템을 선호하기보다는 과거 행동에 걸친 가중치가 다양하게 나타난다.
• 주의 출력을 결합하는 집계 방법은 성능에 영향을 주며, 일반적으로 평균(mean) 집계가 기본값으로 사용된다.
• 모델은 단기 의도( self-attention를 통해)와 장기 선호도(잠재 요인)를 통합하여 개선된 추천을 이끈다.