[논문 리뷰] ATRank: An Attention-Based User Behavior Modeling Framework for Recommendation

Chang Zhou, Jinze Bai외 5명|arXiv (Cornell University)|2017. 11. 17.

Recommender Systems and Techniques참고 문헌 25인용 수 104

한 줄 요약

ARank (ATRank)은 다중 잠재 의미 공간과 셀프 어텐션을 통해 이질적인 사용자 행동을 모델링하는 주의 기반 프레임워크를 제안하여 빠른 학습과 통합 다중 작업 예측을 가능하게 한다.

ABSTRACT

A user can be represented as what he/she does along the history. A common way to deal with the user modeling problem is to manually extract all kinds of aggregated features over the heterogeneous behaviors, which may fail to fully represent the data itself due to limited human instinct. Recent works usually use RNN-based methods to give an overall embedding of a behavior sequence, which then could be exploited by the downstream applications. However, this can only preserve very limited information, or aggregated memories of a person. When a downstream application requires to facilitate the modeled user features, it may lose the integrity of the specific highly correlated behavior of the user, and introduce noises derived from unrelated behaviors. This paper proposes an attention based user behavior modeling framework called ATRank, which we mainly use for recommendation tasks. Heterogeneous user behaviors are considered in our model that we project all types of behaviors into multiple latent semantic spaces, where influence can be made among the behaviors via self-attention. Downstream applications then can use the user behavior vectors via vanilla attention. Experiments show that ATRank can achieve better performance and faster training process. We further explore ATRank to use one unified model to predict different types of user behaviors at the same time, showing a comparable performance with the highly optimized individual models.

연구 동기 및 목표

• 수작업 특성 및 단일 시퀀스 인코더를 넘어 향상된 사용자 표현을 촉진한다.
• 셀프 어텐션을 사용하여 여러 잠재 의미 공간에서 이질적인 사용자 행동을 모델링한다.
• RNN/CNN 인코더에 비해 빠른 학습과 온라인 예측을 가능하게 한다.
• 여러 가지 행동 유형을 동시에 예측할 수 있는 통합 모델을 탐구한다.
• 실세계 Amazon 및 Taobao 데이터셋에서 성능을 평가하고 기반선과 비교한다.

제안 방법

• 타깃 객체 유형에 따라 사용자 행동을 행동 그룹으로 분할한다.
• 각 그룹 내에서 원시 특징을 임베딩하고 시간 정보를 버킷화하여 시간 인코딩을 수행한다.
• 간단한 피드포워드 투영을 통해 그룹 임베딩을 다중 잠재 의미 공간으로 투사한다.
• 각 의미 공간 내에서 셀프 어텐션을 적용하여 내부 행동 간의 영향을 모델링한다.
• 공간 간의 셀프 어텐션 출력을 연결하고 비선형 트랜스포머 블록을 통과시킨다.
• 업다운 스트림 작업과의 연결에 일반 어텐션을 사용한다 (점별 순위 또는 쌍별 순위).

실험 결과

연구 질문

• RQ1 다양한 잠재 의미 공간으로 투사하고 셀프 어텐션으로 행동 간 영향을 포착하여 이질적인 사용자 행동을 효과적으로 모델링할 수 있는가?
• RQ2 다양한 행동 유형을 예측하는 통합 다중 작업 모델이 특화 모델에 비견될 만큼의 성능을 보일까?
• RQ3 추천 설정에서 ATRank가 RNN/CNN 기반 시퀀스 인코더보다 학습이 빠르고 더 정확한가?

주요 결과

• ATRank는 Amazon Electro에서 경쟁 벤치마크보다 높은 AUC를 달성: 0.8921 대 0.8757 (Bi-LSTM) 및 0.8804 (CNN+Pooling).
• Amazon Clothing에서 경쟁 벤치마크보다 높은 AUC를 달성: 0.7905 대 0.7869 (Bi-LSTM) 및 0.7835 (Bi-LSTM+Attention).
• 다중 행동 설정에서 ATRank-All2One 및 ATRank-All2All 모델은 단일 통합 모델로 한 쌍 대비 벤치마크보다 경쟁력 있거나 우수한 성능을 보인다.
• 표 5는 all2one 및 all2all 구성에서 ATRank가 0.8921( Electro) 및 0.7905( Clothing)을 달성했음을 보여주고, 나열된 기반선(BPR, Bi-LSTM, Bi-LSTM+Attention, CNN+Pooling)을 능가한다.
• 병렬화 가능한 어텐션 연산으로 인해 모델은 RNN/CNN 기반 인코더보다 더 빨리 수렴하고 예측 성능을 유지하거나 향상시킨다.