[논문 리뷰] Pre-training of Context-aware Item Representation for Next Basket Recommendation

Jingxuan Yang, Jun Xu외 4명|arXiv (Cornell University)|2019. 04. 14.

Recommender Systems and Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 BERT를 영감으로 삼아 다음 바구니 추천을 위한 맥락 인식 항목 표현 모델인 IERT를 제안한다. 이 모델은 거래 시퀀스를 사용해 깊고 동적인 항목 임베딩을 사전 훈련하고, 온라인으로 미세조정함으로써 타-펑 데이터셋에서 F1-score@5 21.3%와 NDCG@5 34.0%의 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들보다 뚜렷이 뛰어나다. 이는 거래 맥락에 적응하는 항목 표현을 모델링함으로써 달성된다.

ABSTRACT

Next basket recommendation, which aims to predict the next a few items that a user most probably purchases given his historical transactions, plays a vital role in market basket analysis. From the viewpoint of item, an item could be purchased by different users together with different items, for different reasons. Therefore, an ideal recommender system should represent an item considering its transaction contexts. Existing state-of-the-art deep learning methods usually adopt the static item representations, which are invariant among all of the transactions and thus cannot achieve the full potentials of deep learning. Inspired by the pre-trained representations of BERT in natural language processing, we propose to conduct context-aware item representation for next basket recommendation, called Item Encoder Representations from Transformers (IERT). In the offline phase, IERT pre-trains deep item representations conditioning on their transaction contexts. In the online recommendation phase, the pre-trained model is further fine-tuned with an additional output layer. The output contextualized item embeddings are used to capture users' sequential behaviors and general tastes to conduct recommendation. Experimental results on the Ta-Feng data set show that IERT outperforms the state-of-the-art baseline methods, which demonstrated the effectiveness of IERT in next basket representation.

연구 동기 및 목표

• 딥 러닝 기반의 다음 바구니 추천 시스템에서 정적 항목 표현의 한계를 해결하기 위해.
• 사용자 의도와 순차적 행동을 반영하는 맥락에 적응하는 항목 표현을 모델링하기 위해.
• 자연어 처리(NLP)에서의 BERT 사전 훈련 및 미세조정 파라다임을 협업 필터링 및 추천 작업에 적용하기 위해.
• 맥락화된 항목 임베딩을 통해 사용자 일반적인 취향과 순차적 거래 패턴을 모두 포착함으로써 추천 정확도를 향상시키기 위해.
• 원시 거래 시퀀스를 기반으로 한 사전 훈련을 통한 전이 학습의 효과를 입증하기 위해.

제안 방법

• IERT는 이중 단계 훈련 과정을 사용한다: 이력 거래 시퀀스에서의 오프라인 사전 훈련 후, 작업에 특화된 출력 레이어를 사용한 온라인 미세조정.
• 모델은 트랜스포머 인코더를 활용하여 거래 시퀀스 내 주변 항목에 주목함으로써 맥락 인식 항목 표현을 학습한다.
• 입력 표현은 토큰 임베딩(항목 ID), 세그먼트 임베딩(사용자 세션을 구분하기 위해), 위치 임베딩(순서를 인코딩하기 위해)의 합으로 구성된다.
• 사전 훈련 기간 동안, 모델은 마스크된 항목 예측을 통해 훈련되며, 시퀀스 내 무작위로 마스크된 항목을 맥락에 기반해 예측한다.
• 미세조정 단계에서는 사전 훈련된 모델이 최종 출력 레이어를 통해 다음 바구니를 예측하도록 추가로 최적화되며, 맥락화된 항목 임베딩을 사용해 사용자 행동을 모델링한다.
• 모델은 항목 간의 장거리 의존성과 맥락적 관계를 포착하기 위해 BERT 스타일의 양방향 어텐션 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 정적 항목 임베딩에 비해 맥락화된 항목 표현의 사전 훈련이 다음 바구니 추천 성능을 향상시키는가?
• RQ2 BERT를 영감으로 삼은 아키텍처는 순차적 거래 데이터로부터 동적인, 맥락 민감한 항목 표현을 효과적으로 학습하는가?
• RQ3 사전 훈련 및 미세조정 단계를 분리함으로써 모델의 일반화 능력과 추천 정확도가 향상되는가?
• RQ4 맥락 인식 항목 표현이 사용자 일반적인 취향과 순차적 구매 행동을 어느 정도 잘 포착하는가?
• RQ5 실제 거래 데이터에서 최신 기술 수준의 방법들과 비교했을 때, F1-score와 NDCG 측면에서 모델의 성능은 어떠한가?

주요 결과

• IERT는 F1-score@5 21.3%를 기록하여 다음으로 높은 베이스라인인 ANAM(14.6%)을 크게 앞서며 성능을 뛰어나게 했다.
• IERT는 NDCG@5 34.0%를 기록하여 ANAM(19.0%) 대비 78.9% 향상된 성능을 보였다.
• 제거 실험 결과, 사전 훈련 단계를 제거한 IERT w/o pre-training는 F1-score@5 15.0%로 성능이 떨어졌으며, 이는 사전 훈련의 가치를 확인시켰다.
• 모델은 맥락 인식 항목 표현이 정적 임베딩보다 사용자 의도와 순차적 패턴을 더 효과적으로 포착함을 입증했다.
• 결과는 거래 시퀀스를 기반으로 한 사전 훈련을 통한 전이 학습이 표현 품질 향상과 후속 추천 정확도 향상에 기여함을 시사한다.
• IERT는 F1-score와 NDCG 지표 모두에서 FPMC, HRM, DREAM, ANAM을 포함한 모든 최신 기술 수준의 방법들을 능가했다.