[논문 리뷰] Text Is All You Need: Learning Language Representations for Sequential Recommendation

Jiacheng Li, Ming Wang외 5명|arXiv (Cornell University)|2023. 05. 23.

Recommender Systems and Techniques인용 수 5

한 줄 요약

이 논문은 키-값 속성으로 항목을 자연어 문장으로 간주함으로써 양방향 트랜스포머를 사용해 문맥적이고 순차적인 언어 표현을 엔드 투 엔드로 학습할 수 있는 새로운 순차 추천 프레임워크 Recformer을 제안한다. Recformer은 언어 이해와 추천 작업을 공동으로 미리 훈련함으로써 저자원 및 콜드스타트 설정에서 최고 성능을 기록하며, 항목 ID에 의존하지 않고 데이터셋과 항목 간 강력한 전이 능력을 보여준다.

ABSTRACT

Sequential recommendation aims to model dynamic user behavior from historical interactions. Existing methods rely on either explicit item IDs or general textual features for sequence modeling to understand user preferences. While promising, these approaches still struggle to model cold-start items or transfer knowledge to new datasets. In this paper, we propose to model user preferences and item features as language representations that can be generalized to new items and datasets. To this end, we present a novel framework, named Recformer, which effectively learns language representations for sequential recommendation. Specifically, we propose to formulate an item as a "sentence" (word sequence) by flattening item key-value attributes described by text so that an item sequence for a user becomes a sequence of sentences. For recommendation, Recformer is trained to understand the "sentence" sequence and retrieve the next "sentence". To encode item sequences, we design a bi-directional Transformer similar to the model Longformer but with different embedding layers for sequential recommendation. For effective representation learning, we propose novel pretraining and finetuning methods which combine language understanding and recommendation tasks. Therefore, Recformer can effectively recommend the next item based on language representations. Extensive experiments conducted on six datasets demonstrate the effectiveness of Recformer for sequential recommendation, especially in low-resource and cold-start settings.

연구 동기 및 목표

• ID 기반 순차 추천 모델이 콜드스타트 항목과 도메인 간 전이 문제를 다루는 데에 한계를 가진다는 점을 해결하기 위해.
• 언어 표현 학습과 순차 추천을 하나의 이전 가능 프레임워크로 통합하기 위해.
• 항목의 자연어 속성을 활용해 데이터셋 간 및 새로운 항목에 대한 효과적인 지식 전이를 가능하게 하기 위해.
• 일반적인 미리 훈련된 언어 모델에서 유도된 비최적의 텍스트 표현을 개선하기 위해 추천과 언어 이해를 공동으로 훈련함으로써.
• 항목 속성에서 더 세밀한 워드 수준 선호도를 학습하고, 거시적인 문장 수준 특징이 아닌 보다 정교한 특징을 추출하는 프레임워크를 개발하기 위해.

제안 방법

• 항목은 '색상: 빨간색', '브랜드: 나이키'와 같은 키-값 속성 쌍의 시퀀스로 표현되며, 자연어 토큰의 '문장'을 형성한다.
• Longformer를 영감으로 삼았지만 추천에 적합하게 조정된 양방향 트랜스포머 아키텍처로, 상대적 위치 임베딩과 희소 어텐션을 사용해 효율적으로 항목 시퀀스를 인코딩한다.
• 이중 목표로 미리 훈련되며, 항목 속성 시퀀스에 대한 마스크된 언어 모델링과 사용자 상호작용 시퀀스에 대한 다음 항목 예측이다.
• 추천 전용 목표와 함께 동시에 미세조정되어 언어 이해와 순차적 행동 모델링 간의 일치를 도모한다.
• 사용자 상호작용 기록, 항목 속성, 시퀀스 경계를 구분하기 위해 특수 토큰 임베딩을 도입한다.
• 학습된 항목 속성의 언어 표현을 일반화함으로써, 항목 ID 재훈련 없이도 제로샷 및 희소한 추천을 가능하게 한다.

실험 결과

연구 질문

• RQ1 항목 속성을 자연어 시퀀스로 효과적으로 모델링할 수 있는가? 이는 순차 추천 성능 향상에 기여하는가?
• RQ2 언어 이해와 다음 항목 예측에 대해 공동으로 미리 훈련하면, 특히 저자원 환경에서 성능 향상이 이루어지는가?
• RQ3 항목 ID 재훈련 없이도 새로운 데이터셋과 콜드스타트 항목에 일반화할 수 있는가?
• RQ4 이전에 제안된 ID 기반 및 미리 훈련된 언어 모델 기반 베이스라인과 비교했을 때, 제안된 언어 표현 프레임워크는 전이 학습 시나리오에서 어떻게 성능을 내는가?
• RQ5 순차 추천에서 세밀한 워드 수준 이해와 거시적인 문장 수준 특징 중 어느 것이 더 기여하는가?

주요 결과

• Recformer는 여섯 개의 벤치마크 데이터셋에서 최고 성능을 기록하며, 전체 지도 학습 및 저자원 설정 모두에서 기존 방법을 능가한다.
• 콜드스타트 및 제로샷 추천에서 뚜렷한 성능 향상을 보이며, 데이터셋과 새로운 항목 간 강력한 전이 능력을 입증한다.
• 절단 실험을 통해 언어와 추천 작업을 공동으로 미리 훈련하는 것이 단독으로 미리 훈련하는 것보다 성능 향상에 더 효과적이라는 점을 확인한다.
• 키-값 속성 시퀀스를 자연어 문장으로 사용하는 것은 표준 항목 ID나 임베딩 기반 접근 방식보다 사용자 선호도 모델링에 더 나은 성능을 보인다.
• 희소 어텐션을 갖춘 양방향 트랜스포머는 사용자 상호작용 시퀀스의 장거리 의존성을 효과적으로 포착하면서도 계산 효율성을 유지한다.
• 항목 전용 임베딩에 대한 의존도를 줄여, 재훈련 없이도 새로운 항목과 새로운 도메인으로의 일반화를 가능하게 한다.