[논문 리뷰] User-specific Adaptive Fine-tuning for Cross-domain Recommendations

Lei Chen, Fajie Yuan외 4명|arXiv (Cornell University)|2021. 06. 15.

Recommender Systems and Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 사용자별로 사전 훈련된 모델의 어떤 계층을 미세조정할지를 정책 네트워크를 사용해 동적으로 선택하는, 새로운 교차 도메인 추천을 위한 사용자별 적응형 미세조정(UAF)을 제안한다. UAF는 특히 데이터가 부족한 조건에서 냉시작 사용자 추천 정확도와 견고성을 크게 향상시키며, 여러 데이터셋과 작업에서 전역 미세조정 및 기존 전이 학습 기반 방법들을 능가한다.

ABSTRACT

Making accurate recommendations for cold-start users has been a longstanding and critical challenge for recommender systems (RS). Cross-domain recommendations (CDR) offer a solution to tackle such a cold-start problem when there is no sufficient data for the users who have rarely used the system. An effective approach in CDR is to leverage the knowledge (e.g., user representations) learned from a related but different domain and transfer it to the target domain. Fine-tuning works as an effective transfer learning technique for this objective, which adapts the parameters of a pre-trained model from the source domain to the target domain. However, current methods are mainly based on the global fine-tuning strategy: the decision of which layers of the pre-trained model to freeze or fine-tune is taken for all users in the target domain. In this paper, we argue that users in RS are personalized and should have their own fine-tuning policies for better preference transfer learning. As such, we propose a novel User-specific Adaptive Fine-tuning method (UAF), selecting which layers of the pre-trained network to fine-tune, on a per-user basis. Specifically, we devise a policy network with three alternative strategies to automatically decide which layers to be fine-tuned and which layers to have their parameters frozen for each user. Extensive experiments show that the proposed UAF exhibits significantly better and more robust performance for user cold-start recommendation.

연구 동기 및 목표

• 목표 도메인에서 상호작용 데이터가 부족한 사용자에 대한 냉시작 문제를 해결한다.
• 모든 사용자를 동일하게 취급하는 전역 미세조정 전략의 한계를 극복하며, 소스 도메인과의 유사도가 서로 다른 사용자들에 맞게 조정한다.
• 선호도 전이 효과를 극대화하기 위해 사용자별로 맞춤형 전이 학습 정책을 적용하는 개인화된 미세조정 메커니즘을 개발한다.
• 특정 계층만 선택적으로 업데이트함으로써, 낮은 데이터 환경에서 과적합을 방지하고 견고성을 향상시킨다.
• 제안된 방법이 추천을 넘어서 사용자 프로필 예측과 같은 다른 후행 작업으로도 일반화될 수 있음을 입증한다.

제안 방법

• 대규모 소스 도메인 데이터셋에서 사전 훈련된 백본 모델로 NextItNet을 훈련하여 깊이 있는 순차적 추천 모델을 구축한다.
• 각 개별 사용자에 대해 사전 훈련된 모델의 어떤 계층을 미세조정할지, 어떤 계층은 동결할지 예측하는 정책 네트워크를 도입한다.
• 계층별 미세조정 결정을 위한 세 가지 변종 정책 네트워크를 구현한다: 하드 게이팅(UAF-Hard), 소프트 게이팅(UAF-Soft), 강화학습 기반(UAF-RL).
• 정책 네트워크의 출력을 사용해 미세조정 중에 계층별 마스킹을 동적으로 적용함으로써, 사용자별로 맞춤형으로 사전 훈련된 모델을 적응시킨다.
• 백프로파게이션을 사용해 추천 모델과 함께 정책 네트워크를 엔드 투 엔드로 훈련함으로써, 각 사용자별 최적의 미세조정 정책을 학습할 수 있도록 한다.
• 정 polit 네트워크의 원래 NextItNet 백본을 GRU로 교체하여 유연성과 성능을 평가하였으며, 유사한 성능을 보였다.

실험 결과

연구 질문

• RQ1 전역 미세조정 전략과 비교해 사용자별로 미세조정 정책을 설정함으로써 교차 도메인 추천 성능을 향상시킬 수 있는가?
• RQ2 냉시작 사용자에서 흔히 발생하는 낮은 데이터 환경에서 UAF는 어떻게 성능을 발휘하는가?
• RQ3 훈련 데이터가 부족할 때 기존의 표준 미세조정보다 UAF가 과적합을 더 효과적으로 방지하는가?
• RQ4 제안된 방법은 추천을 넘어서 사용자 프로필 예측과 같은 다른 후행 작업으로도 일반화될 수 있는가?
• RQ5 정책 네트워크 설계는 다양한 아키텍처와 작업에 대해 얼마나 견고하고 탄력적인가?

주요 결과

• UAF-Hard, UAF-Soft, UAF-RL은 ColdRec-1과 ColdRec-2에서 Finetune-All 및 PeterRec보다 유의미하게 높은 MRR@5 및 HR@5 성능을 달성했으며, ColdRec-1에서 PeterRec 대비 MRR@5 성능이 최대 6.1% 향상되었다.
• UAF 방법은 표준 미세조정보다 과적합을 더 효과적으로 방지했으며, 학습 곡선상 9 에포크까지 지속적인 향상을 보였고, Finetune-All는 5 에포크 이후 성능 저하가 시작되었다.
• GRU 아키텍처를 사용한 정책 네트워크(UAF-GRU 변종)는 원래 NextItNet 기반 정책 네트워크와 유사한 성능을 달성하여, 이 방법의 아키텍처 유연성을 입증했다.
• UAF는 사용자 프로필 예측 작업(Gender, Age, Life Status)에서 모든 세 데이터셋에서 높은 정확도와 F1 점수를 기록하며 베이스라인들을 능가했으며, 이는 방법의 다재다능함을 확인시켰다.
• 제거 분석 결과, 고정된 전역 전략보다 사용자별로 미세조정 정책을 설정하는 것이 더 높은 성능을 내며, 전이 학습에서 개인화의 핵심 기여를 검증했다.