[논문 리뷰] A Survey on Diffusion Models for Recommender Systems

Jianghao Lin, Jiaqi Liu외 6명|arXiv (Cornell University)|2024. 09. 08.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 종합 검토는 추천 시스템에서 확산 모델(DMs)에 대한 첫 번째 종합적 개요를 제공하며, 응용 분야를 데이터 엔지니어링 및 인코딩, 직접 추천 모델링, 개인화된 콘텐츠 생성의 세 영역으로 분류한다. 이는 DMs의 뛰어난 생성 능력, 표현 학습 능력 및 훈련 안정성에 주목하며, 이 분야의 미래 연구를 위한 길잡이를 제시한다.

ABSTRACT

While traditional recommendation techniques have made significant strides in the past decades, they still suffer from limited generalization performance caused by factors like inadequate collaborative signals, weak latent representations, and noisy data. In response, diffusion models (DMs) have emerged as promising solutions for recommender systems due to their robust generative capabilities, solid theoretical foundations, and improved training stability. To this end, in this paper, we present the first comprehensive survey on diffusion models for recommendation, and draw a bird's-eye view from the perspective of the whole pipeline in real-world recommender systems. We systematically categorize existing research works into three primary domains: (1) diffusion for data engineering & encoding, focusing on data augmentation and representation enhancement; (2) diffusion as recommender models, employing diffusion models to directly estimate user preferences and rank items; and (3) diffusion for content presentation, utilizing diffusion models to generate personalized content such as fashion and advertisement creatives. Our taxonomy highlights the unique strengths of diffusion models in capturing complex data distributions and generating high-quality, diverse samples that closely align with user preferences. We also summarize the core characteristics of the adapting diffusion models for recommendation, and further identify key areas for future exploration, which helps establish a roadmap for researchers and practitioners seeking to advance recommender systems through the innovative application of diffusion models. To further facilitate the research community of recommender systems based on diffusion models, we actively maintain a GitHub repository for papers and other related resources in this rising direction https://github.com/CHIANGEL/Awesome-Diffusion-for-RecSys.

연구 동기 및 목표

• 확산 모델이 추천 시스템에서 데이터 엔지니어링, 추천 모델링, 콘텐츠 제시의 세 핵심 영역에 걸쳐 어떻게 체계적으로 분류되고 분석되는지 확인하기.
• 확산 모델이 추천에 효과적인 이유가 되는 핵심 특성—즉, 생성 능력, 강력한 표현 학습 능력, 훈련 안정성—를 규명하기.
• 확산 기반 추천 시스템에서의 데이터 프라이버시, 디지털 저작권, 모델 해석 가능성 등의 주요 과제를 부각하기.
• 대규모 언어 모델(LLMs)과의 통합 및 인과 학습과 같은 미개척 분야를 식별함으로써 향후 연구를 위한 체계적 연구 로드맵 제공하기.
• 확산 모델 기반 추천 시스템 분야의 자료를 수집하고 유지 관리하기 위한 공개 GitHub 리포지토리 조성하기.

제안 방법

• 세 수준의 분류 체계 제안: (1) 데이터 엔지니어링 및 인코딩을 위한 확산(예: 데이터 증강, 표현 향상), (2) 추천 모델로서의 확산(예: 직접적인 선호도 모델링 및 순위 매기기), (3) 콘텐츠 제시를 위한 확산(예: 패션 또는 광고 콘텐츠 생성).
• 확산 모델의 노이즈 제거 과정이 복잡한 데이터 분포를 학습하고 사용자 선호도에 부합하는 고품질, 다양한 샘플을 생성하는 데 핵심 메커니즘으로 작용함을 분석한다.
• 희소하거나 노이즈가 많거나 품질이 낮은 공동 신호를 처리하기 위해 분리된 강건한 잠재 표현을 학습함으로써 확산 모델을 적응시키는 기존 방법을 검토한다.
• 설명 가능한 추천을 위해 대규모 언어 모델(LLMs)과의 통합 및 반사적 추론을 위한 인과 학습과 같은 다른 패러다임과의 통합을 검토한다.
• 신경 워터마킹, 적대적 변형, 연합 학습, 차별적 프라이버시 등의 기술적 해결책을 통해 프라이버시 및 저작권 문제를 해결하는 방법을 논의한다.
• 확산 기반 추천 시스템 분야의 논문과 자료를 수집하고 정리하기 위해 공개 GitHub 리포지토리 운영

실험 결과

연구 질문

• RQ1 확산 모델은 추천 시스템에서 사용자-아이템 상호작용 데이터의 표현을 향상시키고 증강하기 위해 어떻게 효과적으로 적용될 수 있는가?
• RQ2 확산 모델이 기존의 생성 모델(예: VAEs, GANs)에 비해 추천 작업에서 어떤 주요 이점이 있는가?
• RQ3 확산 모델은 패션 디자인이나 광고 콘텐츠와 같은 개인화된 고품질 콘텐츠를 어떻게 생성하는 데 활용될 수 있는가?
• RQ4 확산 모델은 대규모 언어 모델(LLMs)과 어떻게 통합되어 추천의 설명 가능성과 사용자 신뢰를 향상시킬 수 있는가?
• RQ5 확산 기반 콘텐츠 생성에서 디지털 저작권 및 데이터 프라이버시 관련 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• VAEs와 GANs에 비해 확산 모델은 뛰어난 생성 능력과 표현 학습 능력을 보이며, 사용자 선호도에 부합하는 고품질, 다양한 샘플 생성이 가능하다.
• 확산 모델의 노이즈 제거 프레임워크는 추천 시스템에서 복잡하고 다중 스케일의 데이터 분포를 안정적으로 모델링하고 효과적으로 학습함으로써 훈련의 안정성을 보장한다.
• 데이터 엔지니어링 및 인코딩 분야의 응용은 잠재 표현 향상과 희소한 상호작용 데이터 증강을 통해 모델의 일반화 능력을 향상시킨다.
• 확산 기반 추천 모델은 직접 사용자 선호도 동적 변화를 모델링함으로써 최신 기술 수준의 성능을 달성하며, 상위 N개 순위 매기기 및 순차적 추천 등의 작업에서 뛰어난 성능을 보인다.
• 콘텐츠 제시 분야에서 확산 모델은 사용자 참여도와 개인화 수준을 크게 향상시키는 개인화된 다중 모odal 콘텐츠(예: 패션, 광고)를 생성한다.
• 대규모 언어 모델과의 통합을 통해 추천에 대한 맥락적으로 관련성 있고 인간과 유사한 설명을 생성함으로써 투명성과 사용자 만족도를 향상시킬 수 있다.