[논문 리뷰] Sequential Scenario-Specific Meta Learner for Online Recommendation

Zhengxiao Du, Xiaowei Wang외 3명|arXiv (Cornell University)|2019. 06. 02.

Recommender Systems and Techniques참고 문헌 53인용 수 12

한 줄 요약

이 논문은 소수의 예시를 사용하여 냉시작 추천 시나리오의 훈련 과정을 자동화하는 순차적 시나리오별 메타러닝 기반 s2Meta를 제안한다. 모델 독립적 메타러닝과 시나리오별 적응을 결합함으로써 s2Meta는 적응형 하이퍼파ram터와 조기 정지 기법을 통해 동적으로 학습을 제어하며, Taobao 및 Amazon을 포함한 실제 데이터셋에서 최신 기술 수준의 성능을 달성하여 기준 모델 대비 Recall에서 뚜렷한 향상을 이룬다.

ABSTRACT

Cold-start problems are long-standing challenges for practical recommendations. Most existing recommendation algorithms rely on extensive observed data and are brittle to recommendation scenarios with few interactions. This paper addresses such problems using few-shot learning and meta learning. Our approach is based on the insight that having a good generalization from a few examples relies on both a generic model initialization and an effective strategy for adapting this model to newly arising tasks. To accomplish this, we combine the scenario-specific learning with a model-agnostic sequential meta-learning and unify them into an integrated end-to-end framework, namely Scenario-specific Sequential Meta learner (or s^2 meta). By doing so, our meta-learner produces a generic initial model through aggregating contextual information from a variety of prediction tasks while effectively adapting to specific tasks by leveraging learning-to-learn knowledge. Extensive experiments on various real-world datasets demonstrate that our proposed model can achieve significant gains over the state-of-the-arts for cold-start problems in online recommendation. Deployment is at the Guess You Like session, the front page of the Mobile Taobao.

연구 동기 및 목표

• 신규 시나리오에서 사용자 상호작용 데이터가 제한된 온라인 추천의 냉시작 문제를 해결한다.
• 기존의 광범위한 역사적 데이터에 의존하는 것을 줄이고, 적은 예시로 새로운 추천 시나리오에 신속히 적응할 수 있도록 한다.
• 학습 전 과정—모델 초기화, 하이퍼파ram터 적응, 조기 정지—를 학습된 메타정책을 통해 자동화한다.
• 플래시 세일이나 신제품 출시와 같은 짧은 수명 주기의 낮은 데이터 추천 시나리오에서 일반화 성능을 향상시키고 과적합을 방지한다.
• 신규 추천 작업에 대한 하이퍼파ram터 조정과 모델 훈련 과정에서의 인간 간섭을 최소화한다.

제안 방법

• 모델 독립적 메타러닝과 시나리오별 적응을 통합하여 s2Meta라는 종단 간 프레임워크를 구축한다.
• 다양한 역사적 추천 작업을 통해 수집된 맥락 정보를 종합하여 일반적인 모델 초기화를 생성하는 메타러닝 기반의 방법을 사용한다.
• 세 가지 구성 요소로 이루어진 순차적 학습 과정을 구현한다: 메타초기화, 학습 가능한 업데이트 제어기로 파라미터 미세조정, 정지 제어기를 통한 조기 정지.
• 순환 신경망을 사용하여 순차적 의사결정 과정을 모델링하며, 업데이트 제어기와 정지 제어기가 각 훈련 단계에서 입력 게이트와 잊기 게이트를 예측한다.
• 과거 시나리오의 분포를 기반으로 메타러닝 기반의 최적의 적응 전략을 학습시켜, 새로운 미사용 시나리오에 대해 최적의 전략을 도출한다.
• 시험 성능 최적화를 위해 미분 가능한 훈련 목표를 사용하여 기울기 기반의 메타정책 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메타러닝 기반의 초기화와 적응 전략이 낮은 데이터 추천 시나리오에 대해 효과적으로 작동하는가?
• RQ2 자동화된 하이퍼파ram터 적응 및 조기 정지 전략이 냉시작 환경에서 일반화 성능을 어떻게 향상시키는가?
• RQ3 소수의 예시를 사용하는 추천 환경에서, 순차적 정책 기반의 훈련 과정이 고정 또는 무작위 훈련 스케줄보다 얼마나 뛰어나게 작용하는가?
• RQ4 다양한 추천 아키텍처(예: 상호작용 모듈 대비 매핑 모듈)가 메타러닝 기반의 적응 전략과 어떻게 상호작용하는가?
• RQ5 메타러닝 기반의 전략이 짧은 수명 주기의 프ом모션 이벤트를 포함한 다양한 실제 추천 시나리오에 대해 일반화 가능한가?

주요 결과

• Amazon 데이터셋에서 s2Meta는 Recall@10 기준 34.39%를 기록하여, 다음으로 우수한 기준 모델보다 0.83% 높고, 무작위 초기화보다 1.27% 높은 성능을 보였다.
• Taobao 데이터셋에서 s2Meta를 적용한 상호작용 모듈은 매핑 모듈 대비 6.71%의 상대적 성능 향상을 보였으며, 아키텍처에 따라 성능 향상이 달라지는 것을 입증했다.
• 메타초기화를 제거(즉, 무작위 초기화 사용)할 경우 성능 저하가 가장 심각했으며, 이는 강력한 일반화 가능한 초기값의 중요성을 시사한다.
• 조기 정지 정책의 영향은 초기화보다 작았으며, 이는 메타러닝 기반의 정지 제어기가 정규화 없이도 과적합을 효과적으로 방지함을 의미한다.
• 메타러닝 기반의 전략은 레이어 및 파라미터별로 다른 업데이트 전략을 적용함을 확인했다—예를 들어, 가중치 행렬은 초기에 업데이트되고, 편향 벡터는 나중에 조정됨을 보여주며, 적응형 레이어별 학습 전략을 구현하고 있음을 나타낸다.
• 시각화 결과는 테스트 Recall이 안정화될 때 정지 제어기가 활성화됨을 확인했으며, 이는 과적합 방지와 효과적인 일반화를 위한 전략적 작동을 뒷받침한다.