[논문 리뷰] ReLoop: A Self-Correction Continual Learning Loop for Recommender Systems

Guohao Cai, Jieming Zhu외 5명|arXiv (Cornell University)|2022. 04. 24.

Recommender Systems and Techniques인용 수 5

한 줄 요약

ReLoop는 추천 시스템을 위한 자기 보정 지속 학습 프레임워크를 제안하며, 훈련 중 이전 모델 버전의 예측 오차를 줄인다. 과거 예측 성능 저하를 방지하기 위해 맞춤형 손실을 도입함으로써, 모델은 자신의 실수에서 능동적으로 학습할 수 있게 되며, 공개 및 산업 데이터셋에서 오프라인 벤치마크와 온라인 A/B 테스트 모두에서 일관된 성능 향상을 이룬다.

ABSTRACT

Deep learning-based recommendation has become a widely adopted technique in various online applications. Typically, a deployed model undergoes frequent re-training to capture users' dynamic behaviors from newly collected interaction logs. However, the current model training process only acquires users' feedbacks as labels, but fail to take into account the errors made in previous recommendations. Inspired by the intuition that humans usually reflect and learn from mistakes, in this paper, we attempt to build a self-correction learning loop (dubbed ReLoop) for recommender systems. In particular, a new customized loss is employed to encourage every new model version to reduce prediction errors over the previous model version during training. Our ReLoop learning framework enables a continual self-correction process in the long run and thus is expected to obtain better performance over existing training strategies. Both offline experiments and an online A/B test have been conducted to validate the effectiveness of ReLoop.

연구 동기 및 목표

• 기존 추천 학습 루프가 과거 추천 오차를 간과하는 한계를 해결하기 위해.
• 인간의 자기 반성과 수정 방식을 영감으로 삼아, 추천 모델이 자신의 실수에서 능동적으로 학습할 수 있도록 하기 위해.
• 지속적인 자기 보정을 통해 성능을 향상시키는 일반적이고 모델에 종속되지 않는 프레임워크를 설계하기 위해.
• 자기 보정의 효과성을 오프라인 평가와 실제 온라인 배포 환경 모두에서 검증하기 위해.

제안 방법

• 동일한 데이터 샘플에 대해 현재 모델의 예측과 이전 모델 버전의 예측을 비교하는 자기 보정 모듈을 도입한다.
• 샘플 단위의 예측 오차를 모델 점수와 지표 레이블(예: 클릭/비클릭) 간의 절대 차이로 정의한다.
• 어느 샘플에서든 현재 모델의 예측 오차가 이전 모델의 오차를 초과할 경우, 이를 처벌하는 맞춤형 손실 함수를 제안한다.
• 훈련 중 이 손실을 적용하여, 각 신규 모델 버전이 이전 버전 대비 오차 감소 측면에서 향상되도록 보장한다.
• 모델에 종속되지 않는 프레임워크를 설계하여, 기존의 어떤 추천 모델 아키텍처와도 통합 가능하게 한다.
• 오프라인 데이터셋과 실제 산업 데이터를 모두 사용하여 평가하며, 뉴스피드 시스템에서의 온라인 A/B 테스트를 포함한다.

실험 결과

연구 질문

• RQ1 추천 시스템이 자신의 과거 예측 오차에서 능동적으로 학습함으로써 성능을 향상시킬 수 있는가?
• RQ2 지속 학습 루프는 사용자 클릭 외에도 이전 버전의 모델 오차에서 피드백을 통합할 수 있도록 어떻게 개선될 수 있는가?
• RQ3 연속적인 모델 업데이트 간에 자기 보정을 강제하기 위해 일반적이고 모델에 종속되지 않는 손실 함수를 설계할 수 있는가?
• RQ4 자기 보정 메커니즘은 오프라인 메트릭과 온라인 비즈니스 KPI 모두에서 측정 가능한 향상으로 이어지는가?

주요 결과

• ReLoop는 CTR 예측 데이터셋 4종에 대해 강력한 베이스라인 대비 일관된 성능 향상을 기록했으며, AUC와 logloss 향상까지 확인했다.
• 과거 행동을 단순히 모방하는 것이 아니라 과거 모델 오차에서 직접 학습함으로써, 지식 증착과 지속 학습 베이스라인을 초월하는 성능을 달성했다.
• 실제 산업 뉴스피드 시스템에서의 온라인 A/B 테스트 결과, ReLoop가 클릭률과 사용자 참여도와 같은 핵심 비즈니스 지표를 향상시킴을 확인했다.
• 자기 보정 메커니즘이 시간이 지남에 따라 예측 오차를 측정 가능한 수준으로 감소시켜, 제안된 손실 함수의 효과성을 입증했다.