[논문 리뷰] Learning to Recommend via Meta Parameter Partition

Liang Zhao, Yang Wang외 2명|arXiv (Cornell University)|2019. 12. 04.

Recommender Systems and Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 추천 시스템에서 신규 사용자에 대한 추천을 효율적으로 해결하기 위해 모델 파라미터를 고정(사용자에 관계없이 동일) 및 적응형(사용자별로 다름) 구성요소로 분할하는 이단계적 메타학습 접근법을 제안한다. 파라미터 학습을 분리함으로써 저장 및 계산 비용을 줄이고 지속적인 적응을 가능하게 하며, 실험 결과 기준선 대비 4.94%p의 절대 AUC 향상을 달성했다. 이는 오프라인 메타학습에서 2.48%p, 온라인 메타튜닝에서 추가로 2.46%p 향상된 것이다.

ABSTRACT

In this paper we propose to solve an important problem in recommendation -- user cold start, based on meta leaning method. Previous meta learning approaches finetune all parameters for each new user, which is both computing and storage expensive. In contrast, we divide model parameters into fixed and adaptive parts and develop a two-stage meta learning algorithm to learn them separately. The fixed part, capturing user invariant features, is shared by all users and is learned during offline meta learning stage. The adaptive part, capturing user specific features, is learned during online meta learning stage. By decoupling user invariant parameters from user dependent parameters, the proposed approach is more efficient and storage cheaper than previous methods. It also has potential to deal with catastrophic forgetting while continually adapting for streaming coming users. Experiments on production data demonstrates that the proposed method converges faster and to a better performance than baseline methods. Meta-training without online meta model finetuning increases the AUC from 72.24% to 74.72% (2.48% absolute improvement). Online meta training achieves a further gain of 2.46\% absolute improvement comparing with offline meta training.

연구 동기 및 목표

• 신규 사용자가 상호작용 기록이 거의 없을 때 발생하는 개인화 추천 시스템에서의 사용자 냉시작 문제를 해결한다.
• 사용자에 관계없는 파라미터와 사용자별로 다를 수 있는 파라미터를 분리함으로써 메타학습 기반 추천에서 계산 및 저장 부담을 줄인다.
• 지속적인 사용자 스트림에 대응하기 위해 파라미터 분할을 통해 치명적인 잊힘 현상을 완화하면서도 지속적인 적응을 가능하게 한다.
• 오프라인 및 온라인 메타학습 단계를 활용하여 소수의 샘플로도 추천 성능을 향상시킨다.

제안 방법

• 사용자에 관계없이 공유되는 고정 파라미터와 사용자별로 다를 수 있는 적응형 파라미터로 모델 파라미터를 분할하여 사용자에 관계없는 특징과 사용자에 의존하는 특징을 분리한다.
• 이력 사용자 데이터를 기반으로 오프라인 메타학습을 통해 고정 파라미터를 훈련시켜 강건한 초기화를 학습한다.
• 각 신규 사용자의 제한된 상호작용 데이터를 사용하여 온라인에서 적응형 파라미터를 미세조정함으로써 모델을 개인화한다.
• 이중 단계 훈련 프로세스를 적용한다: 첫 번째로 고정 파라미터를 메타학습하고, 두 번째로 각 신규 사용자에 대해 적응형 파라미터를 온라인 메타튜닝한다.
• 온라인 적응 과정에서 중간 히든 레이어(2번째 ~ 4번째)를 고정하고, 임bedding 및 분류기 레이어만 업데이트하여 사용자별 적응을 가능하게 한다.
• 오프라인 및 온라인 단계에서 CTR 예측 성능 평가를 위해 주로 AUC를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 고정 및 적응형 구성요소로 파라미터를 분할하는 것이 냉시작 추천에서 효율성과 성능 향상에 기여하는가?
• RQ2 전체 파라미터 미세조정 대비 파라미터 분리 메타학습이 수렴 속도와 AUC 성능 측면에서 어떻게 비교되는가?
• RQ3 누적 사용자 데이터를 기반으로 한 온라인 메타튜닝이 오프라인 메타학습을 초과해 모델 성능을 얼마나 향상시키는가?
• RQ4 일반화와 개인화의 균형을 고려할 때 온라인 적응 과정에서 어떤 네트워크 레이어를 고정해야 하는가?

주요 결과

• 제안된 방법은 AUC에서 기준선(72.24%)에서 77.18%로 4.94%p 절대 향상을 달성했다.
• 오프라인 메타학습만으로도 AUC가 2.48%p 향상되어(74.72%) 기존의 공동 훈련 방식에 비해 메타초기화의 유용성을 입증했다.
• 온라인 메타튜닝은 오프라인 메타학습 대비 추가로 2.46%p 절대 AUC 향상을 기록했으며, 더 많은 사용자 데이터를 확보할수록 일관된 성능 향상을 보였다.
• 온라인 적응 과정에서 2번째 및 3번째 히든 레이어를 고정했을 때 성능이 가장 높았으며, 이는 이러한 레이어가 사용자에 관계없는 특징을 학습하고 있음을 시사한다.
• 특히 상호작용 기록이 8~10건 정도인 사용자들에 대해서도 기존 메타학습 및 기준선 방법보다 더 빠른 수렴 속도와 뛰어난 성능을 보였다.
• 제거 실험을 통해 메타초기화, 파라미터 분리, 온라인 학습이 모두 최종 성능 향상에 기여했음을 확인했다.