[논문 리뷰] Multi-Task Deep Recommender Systems: A Survey

Yuhao Wang, Ha Tsz Lam외 7명|arXiv (Cornell University)|2023. 02. 07.

Recommender Systems and Techniques인용 수 7

한 줄 요약

이 논문은 문제 정의, 분류 체계(작업 관계와 방법론), 데이터셋, 응용 분야 및 향후 과제를 포괄하는 다중 작업 심층 추천 시스템(MTDRS)에 대한 포괄적 조사를 제공합니다.

ABSTRACT

Multi-task learning (MTL) aims at learning related tasks in a unified model to achieve mutual improvement among tasks considering their shared knowledge. It is an important topic in recommendation due to the demand for multi-task prediction considering performance and efficiency. Although MTL has been well studied and developed, there is still a lack of systematic review in the recommendation community. To fill the gap, we provide a comprehensive review of existing multi-task deep recommender systems (MTDRS) in this survey. To be specific, the problem definition of MTDRS is first given, and it is compared with other related areas. Next, the development of MTDRS is depicted and the taxonomy is introduced from the task relation and methodology aspects. Specifically, the task relation is categorized into parallel, cascaded, and auxiliary with main, while the methodology is grouped into parameter sharing, optimization, and training mechanism. The survey concludes by summarizing the application and public datasets of MTDRS and highlighting the challenges and future directions of the field.

연구 동기 및 목표

• MTDRS를 정의하고 추천 및 MT 학습의 관련 영역과 구별합니다.
• 작업 관계와 방법론에 기반한 MTDRS의 분류 체계를 제안합니다.
• MTDRS의 학습 메커니즘, 최적화 전략, 매개변수 공유 패턴을 검토합니다.
• MTDRS의 응용 사례와 공용 데이터셋을 요약하고 주요 도전 과제와 향후 방향을 제시합니다.

제안 방법

• MTDRS를 공유 매개변수와 작업별 매개변수를 갖는 다중 작업 학습 문제로 공식화하고 가중 손실을 사용합니다.\n손실 가중치 전략을 논의하며, 업데이트 가능한 손실 가중치(PLE)를 포함합니다.\n작업 관계를 parallel, cascaded, auxiliary-with-main으로 분류합니다.\n방법론을 매개변수 공유, 최적화, 학습 메커니즘으로 분류합니다.\nMTDRS를 다-objective, multi-scenario, multi-behavior 권고 및 CV/NLP에서의 MT 학습과 비교합니다.
• - MTDRS optimization objective: argmin over {theta^1,...,theta^K} of sum_k omega^k L^k(theta^s, theta^k).
• - L^k often BCE loss for score prediction tasks.
• - Updatable loss weights: omega_t^k = omega_0^k * gamma_k^t.

실험 결과

연구 질문

• RQ1 어떤 문제 정의가 MTDRS를 가장 잘 포착하고 그것이 유사한 연구 영역과 어떻게 관련되는가?
• RQ2 작업 관계 및 공유/최적화 전략에 따라 MTDRS를 어떻게 분류할 수 있는가?
• RQ3 MTDRS에 존재하는 데이터셋, 응용 분야 및 평가 자원은 무엇인가?
• RQ4 MTDRS 연구의 주요 도전 과제와 미래 방향은 무엇인가?

주요 결과

• MTDRS는 작업 관계(병렬, 계단형, 보조-주체) 및 공유/최적화/학습 방법론으로 체계적으로 분류할 수 있다.
• 하드 공유, 소프트 공유, 희소 공유, 전문 공유는 MTDRS의 핵심 매개변수 공유 패러다임이며, MoE 기반 접근법이 영향력이 크다.
• 계단형 모델은 순차적 행동(예: impression -> click -> conversion)에 초점을 맞추고 편향과 희소성을 다루며, 보조 작업 설정은 보조 신호를 활용해 주 작업을 개선한다.
• 음의 전이, 다중 시나리오 모델링, 대형 사전 학습 모델, AutoML, 설명가능성, 작업 특이 편향 등이 향후 주요 방향으로 커지고 있다.
• MTDRS 연구를 지원하기 위해 공공 데이터셋과 응용 분야의 광범위한 범주(전자 상거래, 광고, 소셜 미디어)가 요약되어 있다.