[논문 리뷰] Long Short-Term Temporal Meta-learning in Online Recommendation

Ruobing Xie, Yalong Wang외 5명|arXiv (Cornell University)|2021. 05. 08.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 WeChat Top Stories에서의 오프라인 및 온라인 평가에서 뛰어난 성능을 달성하기 위해, GAT 기반 집합기법을 사용하여 글로벌 다중소스 행동 그래프를 통해 사용자의 장기적 선호도를 공동으로 모델링하고, 내부 시간적 그래프를 통해 단기적 선호도를 모델링하는, 온라인 추천을 위한 새로운 프레임워크인 Long Short-Term Temporal Meta-learning (LSTTM)을 제안한다. 이는 시간에 따른 MAML 전략과 비동기 최적화를 통해 실시간 트렌드에 신속하게 적응할 수 있도록 하여, WeChat Top Stories에서 뚜렷한 성과 향상을 이룬다.

ABSTRACT

An effective online recommendation system should jointly capture users' long-term and short-term preferences in both users' internal behaviors (from the target recommendation task) and external behaviors (from other tasks). However, it is extremely challenging to conduct fast adaptations to real-time new trends while making full use of all historical behaviors in large-scale systems, due to the real-world limitations in real-time training efficiency and external behavior acquisition. To address these practical challenges, we propose a novel Long Short-Term Temporal Meta-learning framework (LSTTM) for online recommendation. It arranges user multi-source behaviors in a global long-term graph and an internal short-term graph, and conducts different GAT-based aggregators and training strategies to learn user short-term and long-term preferences separately. To timely capture users' real-time interests, we propose a temporal meta-learning method based on MAML under an asynchronous optimization strategy for fast adaptation, which regards recommendations at different time periods as different tasks. In experiments, LSTTM achieves significant improvements on both offline and online evaluations. It has been deployed on a widely-used online recommendation system named WeChat Top Stories, affecting millions of users.

연구 동기 및 목표

• 대규모 온라인 추천 시스템에서 사용자 장기 및 단기 선호도를 공동으로 모델링하는 도전 과제를 해결한다.
• 다양한 애플리케이션 간 내부 및 외부 사용자 행동 간의 비효율성과 이질성 문제를 해결한다.
• 비용이 많이 드는 재학습이나 미세조정 없이 실시간 트렌드에 신속하게 온라인 적응할 수 있도록 한다.
• 온라인 계산 비용을 최소화하여 실세계 구현에서 효과성과 효율성을 균형 잡는다.

제안 방법

• 장기적이고 안정적인 사용자 선호도를 모델링하기 위해 다중 소스 내부 및 외부 사용자 행동을 통합한 글로벌 장기 그래프를 구축한다.
• 최근의, 작업에 특화된 행동에 집중한 내부 단기 그래프를 구축하여 동적인 단기 관심사를 포착한다.
• 두 그래프에서 표현을 학습하기 위해 별도의 이웃 샘플링 전략을 갖춘 그래프 어텐션 네트워크(GATs)를 적용한다.
• 맥락에 따라 단기 및 장기 표현을 적응적으로 융합하기 위한 게이팅 메커니즘을 사용한다.
• 다른 시간대에 걸쳐 추천을 별개의 작업으로 간주하여, 빠른 적응을 위한 시간 기반 메타학습 전략을 설계한다.
• 학습과 추론을 분리하여 온라인 추론 지연을 줄이기 위해 비동기 최적화 기법을 구현한다.

실험 결과

연구 질문

• RQ1 이질적인 내부 및 외부 행동으로부터 사용자 장기 및 단기 선호도를 효과적으로 모델링할 수 있는 추천 시스템은 어떻게 설계될 수 있는가?
• RQ2 MAML 기반 시간 기반 메타학습은 최소한의 계산 비용으로 온라인 추천에서 새로운 트렌드에 신속하게 적응시킬 수 있는가?
• RQ3 다른 애플리케이션의 외부 행동은 특히 콜드스터트 상황에서 추천 성능 향상에 어떤 기여를 하는가?
• RQ4 GAT 기반 집합 및 다중호프 이웃 유사도 손실과 같은 아키텍처 구성 요소가 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• LSTTM은 WeChat Top Stories에서 온라인 A/B 테스트에서 클릭률(CTR)에 9.60%의 상대적 향상과 평균 클릭 수(ACN)에 9.93%의 향상을 달성했다.
• HCR는 3.42% 향상되고 평균 체류 시간은 2.52% 증가하여 사용자 참여도 및 만족도 향상가 확인되었다.
• 높은 신주제 변동성이 있는 기간(예: 기간 2 및 기간 3) 동안 시간 기반 MAML 구성 요소가 성능 향상에 뚜렷한 기여를 하였다.
• 글로벌 장기 그래프(외부 행동)를 제거하면 성능에 명백한 하락이 발생하여, 다중 소스 행동 통합의 가치가 확인되었다.
• 게이팅 기반 융합 메커니즘이 간단한 연결보다 뛰어난 성능을 보였으며, 더 개인화되고 효과적인 표현 조합을 가능하게 하였다.
• 제거 실험을 통해 GAT 기반 집합 및 다중호프 이웃 유사도 손실이 다양한 변화하는 사용자 선호도를 포착하는 데 핵심적인 역할을 한다는 것이 확인되었다.