[논문 리뷰] Multimodal Pretraining, Adaptation, and Generation for Recommendation: A Survey

Qijiong Liu, Jieming Zhu외 7명|arXiv (Cornell University)|2024. 03. 31.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 종합 검토는 추천 시스템을 위한 다중모달 프리트레인팅, 적응, 생성 기법에 대한 종합적인 개요를 제공하며, 콘텐츠 인식 개인화를 향상시키기 위해 대규모 프리트레인된 다중모달 모델을 통합하는 데 중점을 둡니다. 이 글은 도메인 내 프리트레인팅, 튜닝 전략을 통한 모델 적응, 그리고 AI 기반 콘텐츠 생성 응용 분야의 방법을 체계적으로 분석하며, 다중모달 추천 분야의 핵심 과제와 향후 연구 방향을 규명합니다.

ABSTRACT

Personalized recommendation serves as a ubiquitous channel for users to discover information tailored to their interests. However, traditional recommendation models primarily rely on unique IDs and categorical features for user-item matching, potentially overlooking the nuanced essence of raw item contents across multiple modalities such as text, image, audio, and video. This underutilization of multimodal data poses a limitation to recommender systems, especially in multimedia services like news, music, and short-video platforms. The recent advancements in large multimodal models offer new opportunities and challenges in developing content-aware recommender systems. This survey seeks to provide a comprehensive exploration of the latest advancements and future trajectories in multimodal pretraining, adaptation, and generation techniques, as well as their applications in enhancing recommender systems. Furthermore, we discuss current open challenges and opportunities for future research in this dynamic domain. We believe that this survey, alongside the curated resources, will provide valuable insights to inspire further advancements in this evolving landscape.

연구 동기 및 목표

• 최근 다중모달 프리트레인팅, 적응, 생성 기법에 대한 체계적인 리뷰를 제공하기 위해.
• 기존의 특징 기반 방법을 초월하여 프리트레인된 다중모달 모델이 콘텐츠 인식 추천 향상에 기여하는 역할을 부각하기 위해.
• 융합, 다중 도메인 정렬, 기초 모델 등 다중모달 추천 분야의 열린 과제와 새로운 기회를 규명하기 위해.
• AIGC 및 LLM 기반 에이전트의 통합을 통해 추천 시스템의 개인화 및 사용자 상호작용을 향상시키는 방법을 탐색하기 위해.
• 실제 추천 시스템에 다중모달 모델를 적용할 때의 효율성, 윤리적 우려, 실무적 구현 과제를 다루기 위해.

제안 방법

• 도메인 특화 데이터에 초점을 맞춘 다중모달 프리트레인팅 기법을 분류하고 검토하여, 추천을 위한 도메인 내 표현 학습을 향상시키기 위해.
• 표현 전이, 피넷팅, 어댑터 튜닝, 프롬프트 튜닝과 같은 적응 전략을 분석하여, 프리트레인된 다중모달 모델을 최종 추천 작업에 맞추기 위해.
• 특히 AIGC를 활용한 다중모달 생성 기법을 분석하여, 추천 환경에서 헤드라인, 광고, 설명과 같은 개인화된 콘텐츠 생성을 가능하게 하기 위해.
• 사용자 행동, 아이템, 모ality(텍스트, 이미지, 음성, 영상) 간의 계층적이고 개인화된 다중모달 정보 융합 프레임워크를 제안하기 위해.
• 대규모 다중 도메인 추천 데이터를 기반으로 훈련된 다중모달 기초 모델의 잠재력을 논의하여, 문맥 기반 학습을 통한 일반화 및 다중 작업 적용 가능성을 높이기 위해.
• 생산 환경의 실시간 지연 요구 조건을 충족하기 위해 훈련 및 추론의 효율성 전략을 검토하기 위해.

실험 결과

연구 질문

• RQ1 프롬프트 튜닝 및 어댑터 튜닝과 같은 기법을 사용하여 프리트레인된 다중모달 모델을 추천 작업에 효과적으로 피넷팅하거나 적응시키는 방법은 무엇인가요?
• RQ2 사용자-아이템 상호작용의 계층적 구조에서 개인화된 방식으로 다중모달 정보를 융합하는 데 가장 효과적인 방법은 무엇인가요?
• RQ3 AIGC 기법을 활용하여 추천 성능 향상과 사용자 참여도 향상을 위해 개인화된 콘텐츠(예: 헤드라인, 광고)를 생성하는 방법은 무엇인가요?
• RQ4 기초 모델을 추천 분야로 확장할 때의 핵심 과제는 무엇인가요? 특히 일반화 및 문맥 기반 학습 측면에서 말이죠.
• RQ5 실시간 서비스 요구 조건을 충족하기 위해 훈련 및 추론에서 다중모달 모델을 효율적으로 최적화하는 방법은 무엇인가요?

주요 결과

• 도메인 특화 데이터를 활용한 다중모달 프리트레인팅은 아이템 표현의 질을 크게 향상시켜 더 나은 콘텐츠 인식 추천을 가능하게 합니다.
• 프롬프트 튜닝 및 어댑터 튜닝과 같은 적응 기법은 계산 비용을 줄이며 프리트레인된 다중모달 지식을 추천 작업에 효과적으로 전이할 수 있도록 합니다.
• AIGC 기반 생성은 헤드라인, 광고 등 개인화된 콘텐츠 생성을 가능하게 하여 추천 시스템의 사용자 참여도와 개인화 수준을 향상시킵니다.
• 사용자 행동, 아이템, 다양한 모ality(텍스트, 이미지, 음성, 영상) 간의 계층적이고 개인화된 다중모달 정보 융합은 더 정확하고 맥락 인식 가능한 추천을 이룹니다.
• 추천을 위한 다중모달 기초 모델 개발은 향후 문맥 기반 학습을 통해 다양한 작업과 도메인으로의 일반화 잠재력을 지닌 유망한 방향입니다.
• 훈련 및 추론의 효율성은 여전히 핵심 과제이며, 실시간 배포를 위해 경량화되고 확장 가능한 전략 개발이 필수적입니다.