[논문 리뷰] Deep Session Interest Network for Click-Through Rate Prediction

Yufei Feng, Fuyu Lv외 5명|arXiv (Cornell University)|2019. 05. 16.

Recommender Systems and Techniques참고 문헌 19인용 수 39

한 줄 요약

DSIN 모델은 사용자 행동을 여러 과거 세션으로 분석하고, self-attention으로 세션당 관심사를 추출한 뒤 Bi-LSTM으로 그 진화를 모델링하고, 로컬 활성화 유닛으로 이를 집계하여 CTR을 예측한다.

ABSTRACT

Click-Through Rate (CTR) prediction plays an important role in many industrial applications, such as online advertising and recommender systems. How to capture users' dynamic and evolving interests from their behavior sequences remains a continuous research topic in the CTR prediction. However, most existing studies overlook the intrinsic structure of the sequences: the sequences are composed of sessions, where sessions are user behaviors separated by their occurring time. We observe that user behaviors are highly homogeneous in each session, and heterogeneous cross sessions. Based on this observation, we propose a novel CTR model named Deep Session Interest Network (DSIN) that leverages users' multiple historical sessions in their behavior sequences. We first use self-attention mechanism with bias encoding to extract users' interests in each session. Then we apply Bi-LSTM to model how users' interests evolve and interact among sessions. Finally, we employ the local activation unit to adaptively learn the influences of various session interests on the target item. Experiments are conducted on both advertising and production recommender datasets and DSIN outperforms other state-of-the-art models on both datasets.

연구 동기 및 목표

• 사용자 행동 시퀀스가 세션 내 행동은 동질적이고 세션 간 행동은 이질적인 세션들로 구성되어 있음을 강조한다.
• DSIN이 CTR 예측을 위해 여러 과거 세션을 활용하도록 제안한다.
• 바이어스 인코딩이 포함된 self-attention을 사용하여 세션 수준 관심사를 추출하는 모듈을 개발한다.
• 세션 관심사 간의 시퀀스 관계를 포착하기 위해 Bi-LSTM으로 세션 간 진화를 모델링한다.
• 최종 예측 전에 로컬 활성화 유닛으로 세션 관심사를 적응적으로 집계한다.

제안 방법

• 시간 간격(30분 규칙)에 따라 사용자 행동 시퀀스를 세션으로 분할한다.
• 바이어스 인코딩된 self-attention을 적용하여 세션당 관심사를 추출한다.
• 세션 관심사 간의 순차적 상호 작용을 포착하기 위해 Bi-LSTM을 사용한다.
• 타깃 아이템에 대해 세션 관심사를 적응적으로 가중하기 위해 로컬 활성화 유닛을 사용한다.
• 세션 인식 표현을 사용자 임베딩 및 아이템 임베딩과 연결한 뒤, CTR을 예측하기 위해 MLP를 통과시킨다.

실험 결과

연구 질문

• RQ1 세션 수준 주의(attention)를 통한 다중 과거 세션 활용이 단일 시퀀스 모델보다 CTR 예측을 향상시킬 수 있는가?
• RQ2 세션 간 진화와 세션 관심사의 적응적 집계가 더 나은 예측 성능을 가져오는가?
• RQ3 바이어스 인코딩과 세션 간 상호작용 모델링이 CTR 정확도에 기여하는 바는 무엇인가?

주요 결과

모델	광고 AUC	추천 시스템 AUC
YoutubeNet-NO-UB a	0.6239	0.6419
YoutubeNet	0.6313	0.6425
DIN-RNN	0.6319	0.6435
Wide&Deep	0.6326	0.6432
DIN	0.6330	0.6459
DIEN	0.6343	0.6473
DSIN-PE b	0.6357	0.6494
DSIN-BE-NO-SIIL c	0.6365	0.6499
DSIN-BE d	0.6375	0.6515

• DSIN은 광고 및 추천 데이터셋에서Baseline과 비교하여 최고의 AUC를 달성한다.
• 다중 세션을 통합하고 그 진화를 모델링하는 것이 DIN/DIEN과 같은 단일 세션 모델보다 성능을 향상시킨다.
• 바이어스 인코딩과 세션 상호작용 계층이 DSIN의 효과를 크게 향상시킨다.
• 로컬 활성화 유닛은 타깃 아이템에 대한 세션 관심사의 적응적 가중화를 제공한다.