[논문 리뷰] DiffuRec: A Diffusion Model for Sequential Recommendation

Zihao Li, Aixin Sun외 1명|arXiv (Cornell University)|2023. 04. 03.

Recommender Systems and Techniques인용 수 22

한 줄 요약

DiffuRec는 아이템과 사용자 관심을 분포로 표현하여 확산 모델을 순차 추천에 적용하고, 목표 아이템 표현을 재구성하기 위해 Transformer 기반 근사기(Approximator)를 사용하며 역 확산 프로세스를 추론에 활용합니다.

ABSTRACT

Mainstream solutions to Sequential Recommendation (SR) represent items with fixed vectors. These vectors have limited capability in capturing items' latent aspects and users' diverse preferences. As a new generative paradigm, Diffusion models have achieved excellent performance in areas like computer vision and natural language processing. To our understanding, its unique merit in representation generation well fits the problem setting of sequential recommendation. In this paper, we make the very first attempt to adapt Diffusion model to SR and propose DiffuRec, for item representation construction and uncertainty injection. Rather than modeling item representations as fixed vectors, we represent them as distributions in DiffuRec, which reflect user's multiple interests and item's various aspects adaptively. In diffusion phase, DiffuRec corrupts the target item embedding into a Gaussian distribution via noise adding, which is further applied for sequential item distribution representation generation and uncertainty injection. Afterward, the item representation is fed into an Approximator for target item representation reconstruction. In reverse phase, based on user's historical interaction behaviors, we reverse a Gaussian noise into the target item representation, then apply a rounding operation for target item prediction. Experiments over four datasets show that DiffuRec outperforms strong baselines by a large margin.

연구 동기 및 목표

• 아이템의 다수의 잠재적 측면을 포착하기 위해 아이템을 고정 벡터가 아닌 분포로 모델링하도록 동기를 부여한다.
• 다양성과 불확실성을 반영하기 위해 사용자의 관심을 분포로 모델링한다.
• 목표 아이템 가이던스를 과거 아이템 표현 생성에 융합하여 추천 품질을 개선한다.
• 확산 및 역 프로세스를 활용하여 견고한 학습 및 반복 추론을 가능하게 한다.
• 실제 SR 데이터셋에서 강력한 베이스라인에 대해 우수한 성능을 입증한다.

제안 방법

• 목표 아이템을 분포로 표현하고 확산 단계에서 가우시안 노이즈로 손상시킨다.
• Transformer 기반 근사기를 사용하여 과거 아이템의 분포 표현으로부터 목표 아이템 표현을 재구성한다.
• 역 단계에서 가우시안 노이즈를 반복적으로 역산하여 목표 아이템 표현을 추정하고 다음 아이템을 예측하기 위해 반올림 연산을 적용한다.
• 확산에 대한 절단 선형 노이즈 스케줄과 학습 안정화를 위한 재가중된 간단 손실을 채택한다.
• 불확실성을 주입하고 사용자 관심에 적응하기 위해 단계 임베딩과 람다를 통한 분포-신호 섭동을 포함한다.
• 네 개의 실제 데이터셋에서 평가하고 nine strong baselines와 비교한다.

실험 결과

연구 질문

• RQ1 DiffuRec가 순차 추천에서 다중 잠재 아이템 측면과 다중 관심 사용자 다이내믹스를 효과적으로 표현할 수 있는가?
• RQ2 확산을 통한 목표 아이템 가이던스의 도입이 과거 아이템 표현 학습과 다음 아이템 예측을 개선하는가?
• RQ3 Transformer 기반의 근사기가 확산하에서 노이즈가 있는 분포 표현으로부터 목표 아이템 표현을 재구성할 수 있는가?
• RQ4 실제 데이터셋에서 DiffuRec가 강력한 SR 베이스라인에 비해 어떤 성능을 보이는가?
• RQ5 확산 매개변수와 불확실성 모델링이 추천 품질에 미치는 영향은 무엇인가?

주요 결과

• DiffuRec는 네 개의 실제 데이터셋에서 아홉 개의 강력한 베이스라인을 큰 차이로 능가한다.
• 아이템과 사용자 선호를 분포로 모델링하면 다수의 잠재적 측면과 다양한 관심사를 포착할 수 있다.
• 목표 아이템 가이던스를 과거 아이템 표현에 통합하는 것이 재구성과 예측을 개선한다.
• 불확실성 주입을 포함한 확산 프레임워크는 견고성과 표현 학습을 향상시킨다.
• Transformer 기반 근사기가 학습 및 추론 중에 분포 표현으로부터 목표 아이템 표현을 효과적으로 재구성한다.