[논문 리뷰] Dynamic Intention-Aware Recommendation with Self-Attention

Shuai Zhang, Yi Tay외 2명|arXiv (Cornell University)|2018. 08. 20.

Recommender Systems and Techniques인용 수 5

한 줄 요약

이 논문은 시계열 행동에 대한 자기주의(self-attention)를 통해 단기적 사용자 관심사를 공동으로 모델링하고, 메트릭 학습 프레임워크를 통해 장기적 선호도를 모델링하는 동적 의도 인식 추천 모델을 제안한다. 두 가지 유형의 의도를 통합하고 도트곱 주의의 한계를 극복함으로써, 다양한 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Predicting the missing values given the observed interaction matrix is a predominant task in the recommendation research field, which is well-suited to the case when long-term user preference is considered. However, ignoring timestamp information makes it impossible to detect interest drifts of individual users over time, while in many practical applications, both long and short-term intents are critical to the success of recommendation algorithms. In this paper, we aim to tackle the sequential recommendation problem by modeling these two types of intents in an integrated manner. Our model is structured into two components, one for short-term intents learning and the other one for long-term preference modeling. We propose capturing user's short-term interest with a self-attention mechanism which attends over the past behaviors in a supervised learning approach. The model is finally learned in a metric learning framework, which could overcome the weakness of dot product. Experiments on a wide range of datasets on different domains demonstrate that our approach outperforms the state-of-the-art by a wide margin.

연구 동기 및 목표

• 기존 추천 모델이 시간정보를 忽시하고 시간이 지남에 따라 사용자 관심사의 변화를 감지하지 못하는 한계를 해결한다.
• 최근 행동에서 유도된 단기적 사용자 의도와 장기적 사용자 선호도를 통합된 추천 프레임워크에 통합한다.
• 감독 학습 방식으로 훈련된 자기주의 기반 메커니즘을 사용해 동적 사용자 의도 변화를 모델링함으로써 순차적 추천을 향상시킨다.
• 메트릭 학습 기반의 훈련 목표를 통해 도트곱 주의의 내재적 약점을 극복한다.

제안 방법

• 과거 사용자 상호작용 시퀀스에 주의를 기울이는 자기주의 기반 메커니즘을 사용해 단기적 사용자 의도를 모델링하고, 동적인 관심사 변화를 포착한다.
• 기존 행동에서 안정적이고 지속적인 사용자 선호도를 인코딩하는 별도의 구성 요소를 통해 장기적 사용자 선호도를 학습한다.
• 표현 학습을 향상시키고 표준 도트곱 주의의 한계를 완화하기 위해 모델을 메트릭 학습 프레임워크에서 훈련시킨다.
• 단기 및 장기 모델링 구성 요소의 출력을 결합하여 최종 추천을 생성한다.
• 자기주의 모듈을 감독 학습 설정으로 훈련시켜 주의 가중치가 실제 사용자 행동 시퀀스와 더 잘 일치하도록 한다.
• 대조 손실 목표를 사용해 전체 모델을 엔드 투 엔드로 최적화하여 임bedding 품질과 추천 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 모델이 순차적 추천에서 단기 및 장기 사용자 의도를 효과적으로 포착할 수 있는가?
• RQ2 시간정보를 반영한 자기주의를 통합할 경우, 시간 역학을 忽시하는 모델에 비해 추천 성능이 어떻게 향상되는가?
• RQ3 메트릭 학습 프레임워크를 사용할 경우, 표준 도트곱 주의에 비해 주의 기반 모델링이 얼마나 향상되는가?
• RQ4 제안된 방법은 다양한 도메인과 상호작용 패턴이 다른 다양한 데이터셋에 일반화되는가?

주요 결과

• 제안된 모델은 다양한 도메인의 광범위한 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.
• 자기주의를 통한 단기 의도 모델링 통합이 장기 선호도만 고려하는 모델에 비해 추천 정확도를 크게 향상시킨다.
• 메트릭 학습 프레임워크가 도트곱 주의의 한계를 효과적으로 완화하여 더 견고한 사용자 표현 학습을 이끌어낸다.
• 모델는 강력한 일반화 능력을 보이며, 평가된 모든 데이터셋에서 기존 최신 기술(SOTA) 방법을 능가한다.