[논문 리뷰] Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation

Fajie Yuan, Xiangnan He외 2명|arXiv (Cornell University)|2020. 01. 13.

Recommender Systems and Techniques참고 문헌 42인용 수 9

한 줄 요약

이 논문은 주어진 네트워크를 미세조정하지 않고 다양한 하류 추천 작업에 대해 사전 훈련된 순차적 사용자 행동 모델을 효율적으로 적응시키는 파rameter-efficient 전이 학습 프레임워크인 PeterRec을 제안한다. 고정된 사전 훈련된 표현에 부착되는 소규모 훈련 가능한 '모델 패치'를 도입함으로써, PeterRec은 전체 미세조정 수준과 유사한 성능를 달성하면서도 파라미터 업데이트와 메모리 사용을 크게 줄였다. 특히 저자료 환경에서 매우 효과적이다.

ABSTRACT

Inductive transfer learning has had a big impact on computer vision and NLP domains but has not been used in the area of recommender systems. Even though there has been a large body of research on generating recommendations based on modeling user-item interaction sequences, few of them attempt to represent and transfer these models for serving downstream tasks where only limited data exists. In this paper, we delve on the task of effectively learning a single user representation that can be applied to a diversity of tasks, from cross-domain recommendations to user profile predictions. Fine-tuning a large pre-trained network and adapting it to downstream tasks is an effective way to solve such tasks. However, fine-tuning is parameter inefficient considering that an entire model needs to be re-trained for every new task. To overcome this issue, we develop a parameter efficient transfer learning architecture, termed as PeterRec, which can be configured on-the-fly to various downstream tasks. Specifically, PeterRec allows the pre-trained parameters to remain unaltered during fine-tuning by injecting a series of re-learned neural networks, which are small but as expressive as learning the entire network. We perform extensive experimental ablation to show the effectiveness of the learned user representation in five downstream tasks. Moreover, we show that PeterRec performs efficient transfer learning in multiple domains, where it achieves comparable or sometimes better performance relative to fine-tuning the entire model parameters. Codes and datasets are available at https://github.com/fajieyuan/sigir2020_peterrec.

연구 동기 및 목표

• 제한된 레이블이 있는 데이터로 순차적 행동에서 유저 표현을 하류 작업으로 전이하는 데 도전하는 것.
• 모든 사전 훈련된 모델을 재학습하지 않고도 전체 모델을 미세조정하는 동안 재학습을 피할 수 있는 파라미터 효율적인 방법을 개발하는 것.
• 단일 통합 유저 표현을 사용하여 여러 도메인과 작업 간 효과적인 전이를 가능하게 하는 것.
• 다중 작업 추천 시나리오에서 메모리 및 계산 비용을 줄이는 것.
• 자기지도 사전 훈련이 순차적 상호작용에서 전이 가능한 유저 표현을 생성한다는 것을 입증하는 것.

제안 방법

• 두 단계 훈련 절차: 먼저, 자율지도 다음 항목 예측을 사용하여 사용자 상호작용 시퀀스에서 순차적 신경망(예: NextItNet 스타일)을 사전 훈련한다.
• 사전 훈련된 네트워크의 잔차 블록에 삽입되는 소규모 훈련 가능한 피드포워드 네트워크인 '모델 패치'(MP) 모듈을 도입한다.
• MP는 잔차 경로와 병렬로 삽입되며, 고정된 사전 훈련된 특징을 하류 작업에 적응시키는 데 기여한다.
• 미세조정 기간 동안 오직 MP 파라미터만 업데이트되고, 모든 사전 훈련된 가중치는 동결되어 높은 파라미터 효율성을 달성한다.
• 잔차 블록의 무결성과 기울기 불안정성 방지를 위해 MP는 정규화 레이어 이전에 삽입된다.
• 각 목표 작업에 대해 새로운 소규모 MP만 훈련하면 되므로, 프레임워크는 새로운 작업에 대해 실시간으로 적응할 수 있다.

실험 결과

연구 질문

• RQ1 순차적 사용자 행동에서 자기지도 사전 훈련이 다양한 하류 작업으로 전이 가능한 통합 유저 표현을 생성할 수 있는가?
• RQ2 파라미터 효율적인 미세조정 방법이 저자료 또는 다중 도메인 설정에서 전체 미세조정을 능가할 수 있는가?
• RQ3 모델 패치의 아키텍처와 위치가 성능와 안정성에 미치는 영향은 어떠한가?
• RQ4 작업 간 파라미터 공유가 정확도를 저하시키지 않고 효율성을 향상시키는가?
• RQ5 자료가 부족한 조건에서도 제안된 방법이 강건한가?

주요 결과

• PeterRec은 모든 다섯 개의 하류 작업에서 전체 미세조정(FineAll)과 유사한 성능를 달성했으며, 이는 교차 도메인 추천 및 사용자 프로필 예측을 포함한다.
• 학습 데이터의 5%만을 사용할 때, PeterRec은 최적 성능에서 FineAll보다 1.5% 높은 성능를 보이며, 더 뛰어난 일반화 능력과 안정성을 입증한다.
• 정규화 및 드롭아웃을 사용함에도 불구하고, PeterRec은 FineAll보다 훨씬 적은 과적합을 보였다.
• 정규화 레이어 이전에 삽입된 모델 패치(Figure 3b)가 가장 뛰어난 성능를 보였으며, 잔차 블록의 구조와 기울기 흐름을 유지했다.
• PeterRec은 다중 작업 학습(MTL)보다 메모리 효율성이 뛰어나며, 전체 모델이 아닌 소규모 작업 전용 MP 파라미터 집합만 저장하기 때문이다.
• 더 나은 사전 훈련 모델(예: PeterRecon)이 항상 더 나은 전이 성능를 보이는 것은 아니며, 이는 상류 사전 훈련 품질보다 하류 작업과의 일치가 더 중요하다는 것을 시사한다.