[논문 리뷰] Advances and Challenges of Multi-task Learning Method in Recommender System: A Survey

Mingzhu Zhang, Ruiping Yin외 3명|arXiv (Cornell University)|2023. 05. 23.

Recommender Systems and Techniques인용 수 6

한 줄 요약

이 종합적이고 체계적인 리뷰는 추천 시스템에서 다중 작업 학습(MTL)에 대해 종합적으로 검토하며, 작업 간 관계 탐지, 모델 아키텍처, 최적화 전략에 따라 방법을 분류한다. 주요 과제와 향후 방향성, 예를 들어 공정성, 프라이버시, 그리고 미개척된 추천 시나리오를 밝히며, MTL 기반 추천 시스템 분야의 연구자와 전문가를 위한 기초 참고 자료를 제공한다.

ABSTRACT

Multi-task learning has been widely applied in computational vision, natural language processing and other fields, which has achieved well performance. In recent years, a lot of work about multi-task learning recommender system has been yielded, but there is no previous literature to summarize these works. To bridge this gap, we provide a systematic literature survey about multi-task recommender systems, aiming to help researchers and practitioners quickly understand the current progress in this direction. In this survey, we first introduce the background and the motivation of the multi-task learning-based recommender systems. Then we provide a taxonomy of multi-task learning-based recommendation methods according to the different stages of multi-task learning techniques, which including task relationship discovery, model architecture and optimization strategy. Finally, we raise discussions on the application and promising future directions in this area.

연구 동기 및 목표

• 다중 작업 학습(MTL)에 대한 종합적인 문헌 리뷰가 부족한 데 비해, 연구 및 산업 현장에서의 활용이 증가하고 있음.
• 작업 간 관계 탐지, 모델 아키텍처, 최적화 전략이라는 세 핵심 단계에 따라 기존의 MTL 기반 추천 시스템 방법을 체계적으로 분류함.
• 공정성, 프라이버시 보존, 그리고 MTL-RS에서 미개척된 추천 시나리오와 같은 주요 과제를 식별하고 논의함.
• MTL 기반 추천 시스템 분야에서 현재의 진전을 이해하고 향후 연구를 이끄는 데 기여할 수 있는 통합적이고 깊이 있는 참고 자료 제공

제안 방법

• Google Scholar와 DBLP를 활용해 체계적인 문헌 리뷰를 수행하며, 핵심어 '추천', '다중 작업 학습', '추천 시스템'에 중점을 둠.
• KDD, RecSys, WWW, SIGIR, IJCAI, TKDE 등 주요 학술 회의 및 저널에서 100개 이상의 관련 연구를 수집하고 제안된 분류 체계에 따라 분류함.
• 분류 프레임워크는 MTL-RS 방법을 세 단계로 조직함: (1) 작업 간 관계 탐지(예: 어텐션, 메타학습, 클러스터링을 통한 방법), (2) 모델 아키텍처(예: 공유 밑바닥, 딥 앤 크로스, 어댑터 기반 설계), (3) 최적화 전략(예: 기울기 기반, 손실 가중치, 불확실성 기반 방법).
• 각 방법 유형의 성능 및 한계를 평가하며, 파rameter 공유, 일반화 능력, 확장성 간의 상충 관계를 강조함.
• 최근 프레임워크를 참조하여 공정성(예: 인기 편향, 인구 통계적 차별)과 프라이버시(예: 연합 학습 및 차등 프라이버시)와 같은 새로운 과제를 논의함.
• 미개척된 시나리오인 대화, 사회적, 의료 추천 시스템 등에 응용 가능한 향후 연구 방향을 제안함.

실험 결과

연구 질문

• RQ1 작업 간 관계, 아키텍처, 최적화에 기반해 현재 추천 시스템에서 다중 작업 학습 기법은 어떻게 분류되고 적용되고 있는가?
• RQ2 데이터 희소성, 쿨스타트 문제, 모델 유지비용 증가 등의 일반적인 추천 시스템 과제를 해결하는 데 MTL가 가지는 주요 이점은 무엇인가?
• RQ3 MTL 기반 추천 시스템에서 공정성 및 프라이버시 보존 측면에서 주요로 남아 있는 열린 과제는 무엇인가?
• RQ4 대화, 사회적, 의료 추천 시스템 등과 같은 미개척된 추천 시나리오에서는 MTL가 어떤 잠재력을 지닐 수 있는가?
• RQ5 높은 추천 정확도를 유지하면서도 공정성과 프라이버시를 향상시키기 위해 MTL는 어떻게 확장될 수 있는가?

주요 결과

• MTL는 보조 작업을 활용하고 파rameter 공유를 통해 데이터 희소성 문제를 완화하고 모델 일반화 능력을 향상시켜 추천 시스템에서 효과적으로 기여한다.
• MTL는 다수의 단일 작업 모델을 하나의 통합 모델로 대체함으로써 유지비용을 줄이고 온라인 추론 속도를 향상시킨다.
• 공정성 인지 MTL 접근법(예: 공정성 인지 임베딩 학습)은 노출 편향을 줄이고 소외된 사용자 및 아이템에 대한 표현을 향상시키는 데 잠재력을 보인다.
• 공식 행렬 페르터베이션 또는 연합 학습을 활용하는 프라이버시 보장 MTL 프레임워크는 등장하고 있으나, 추천 시스템 분야에서는 아직 미개척된 상태이다.
• 유튜브, 텐센트 비디오 등 성공적인 산업 적용 사례가 있음에도 불구하고, 대화 및 사회적 추천과 같은 복잡한 시나리오에서는 MTL가 아직 활용도가 낮아 연구 잠재력이 높음.
• 이 리뷰는 중요한 연구 격차를 밝혀냄: MTL은 비전 및 자연어 처리 분야에서 널리 적용되고 있으나, 추천 시스템 분야에선 통합적이고 종합적인 리뷰가 부족함 — 본 연구는 이러한 격차를 메운다.