[논문 리뷰] BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

Fei Sun, Jun Liu외 5명|arXiv (Cornell University)|2019. 04. 14.

Recommender Systems and Techniques참고 문헌 56인용 수 275

한 줄 요약

BERT4Rec은 순차 추천을 위한 양방향 Transformer 기반 모델을 도입하고 누출 없이 학습하기 위해 Cloze(마스킹된 언어 모델링) 목적을 사용하여 네 가지 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

Modeling users' dynamic and evolving preferences from their historical behaviors is challenging and crucial for recommendation systems. Previous methods employ sequential neural networks (e.g., Recurrent Neural Network) to encode users' historical interactions from left to right into hidden representations for making recommendations. Although these methods achieve satisfactory results, they often assume a rigidly ordered sequence which is not always practical. We argue that such left-to-right unidirectional architectures restrict the power of the historical sequence representations. For this purpose, we introduce a Bidirectional Encoder Representations from Transformers for sequential Recommendation (BERT4Rec). However, jointly conditioning on both left and right context in deep bidirectional model would make the training become trivial since each item can indirectly "see the target item". To address this problem, we train the bidirectional model using the Cloze task, predicting the masked items in the sequence by jointly conditioning on their left and right context. Comparing with predicting the next item at each position in a sequence, the Cloze task can produce more samples to train a more powerful bidirectional model. Extensive experiments on four benchmark datasets show that our model outperforms various state-of-the-art sequential models consistently.

연구 동기 및 목표

• 과거 상호작용으로부터 동적이고 순서가 불확실한 사용자 선호를 모델링하는 동기를 제공한다.
• 순차 추천을 위한 양방향 Transformer 기반 아키텍처를 제안한다.
• 양방향성으로 인한 학습 문제를 Cloze(마스크된 언어 모델) 목적을 통해 해결한다.
• 다수의 데이터셋에서 최첨단 기준선보다 우수한 성능을 입증한다.
• 양방향성 및 Cloze 목표의 기여를 분리하기 위한 제거 연구(ablation studies)를 제공한다.

제안 방법

• 사용자 행동 시퀀스를 모델링하기 위해 Bidirectional Encoder Representations from Transformers (BERT)를 채택한다.
• 전체 시퀀스에 걸친 의존성을 포착하기 위해 다중 헤드 셀프 어텐션을 갖춘 Transformer를 사용한다.
• 정보 누출을 방지하기 위해 일부 아이템을 마스킹하고 좌측 및 우측 컨텍스트로 예측하여 Cloze 목적으로 학습한다.
• 테스트 시에 순차 작업과 일관되게 다음 아이템을 예측하기 위해 마지막 [mask] 토큰을 추가한다.
• 입력 및 출력 계층 간에 아이템 임베딩을 공유하여 매개변수를 줄이고 과적합을 방지한다.
• 양방향성 및 Cloze 목적의 효과를 분리하기 위한 제거 연구를 수행한다.

실험 결과

연구 질문

• RQ1 양방향 셀프 어텐션이 단방향 모델보다 순차 추천을 향상시키는가?
• RQ2 Cloze 목적이 학습 효율성과 추천 성능에 미치는 영향은 무엇인가?
• RQ3 강력한 베이스라인 대비 각 요소인 양방향성과 Cloze 목표가 얼마나 기여하는가?
• RQ4 다양한 데이터셋에서 BERT4Rec은 기존의 최첨단 순차 모델과 비교하여 어떤 성능을 보이는가?

주요 결과

• BERT4Rec은 네 가지 벤치마크 데이터셋에서 최첨단 베이스라인을 지속적으로 능가한다.
• 제거 연구에서 양방향 모델링과 Cloze 목적 모두 성능 향상에 기여하며, 양방향성이 상당한 이점을 제공함을 보여준다.
• 모델은 여러 데이터셋에서 HR@k, NDCG@k, MRR의 주목할 만한 향상을 달성한다.
• Cloze 목적은 시퀀스당 더 많은 학습 샘플을 제공하여 더 강력한 양방향 표현을 가능하게 한다.
• 주목 패턴의 시각적 분석은 양방향 Transformer가 의미 있는 위치 간 의존성을 캡처함을 시사한다.