[論文レビュー] ReLoop: A Self-Correction Continual Learning Loop for Recommender Systems

Guohao Cai, Jieming Zhu+5 more|arXiv (Cornell University)|Apr 24, 2022

Recommender Systems and Techniques被引用数 5

ひとこと要約

ReLoopは、再発見された予測誤差を軽減する自己補正連続学習フレームワークを提案する。トレーニング中に過去のモデルバージョンの予測誤差を低減するためのカスタム損失を導入することで、モデルが自らの誤りから能動的に学習できるようにし、公開および産業界データセットにおいてオフラインベンチマークとオンラインA/Bテストの両方で一貫した性能向上を達成する。

ABSTRACT

Deep learning-based recommendation has become a widely adopted technique in various online applications. Typically, a deployed model undergoes frequent re-training to capture users' dynamic behaviors from newly collected interaction logs. However, the current model training process only acquires users' feedbacks as labels, but fail to take into account the errors made in previous recommendations. Inspired by the intuition that humans usually reflect and learn from mistakes, in this paper, we attempt to build a self-correction learning loop (dubbed ReLoop) for recommender systems. In particular, a new customized loss is employed to encourage every new model version to reduce prediction errors over the previous model version during training. Our ReLoop learning framework enables a continual self-correction process in the long run and thus is expected to obtain better performance over existing training strategies. Both offline experiments and an online A/B test have been conducted to validate the effectiveness of ReLoop.

研究の動機と目的

• 既存の推薦学習ループが過去の推薦誤差を無視するという制限を解決すること。
• 人間の自己認識と是正にインspiredされ、推薦モデルが自らの誤りから能動的に学習できるようにすること。
• モデルに依存しない汎用的なフレームワークを設計し、オンライン学習ループにおける継続的自己補正を通じて性能を向上させること。
• 自己補正の有効性をオフライン評価と実世界のオンライン展開の両方で検証すること。

提案手法

• 同じデータサンプル上で現在のモデルの予測と前回のモデルバージョンの予測を比較する自己補正モジュールを導入する。
• サンプル単位の予測誤差を、モデルスコアと正例ラベル（例：クリック／非クリック）の絶対差として定義する。
• 任意のサンプルで現在のモデルの予測誤差が前回のモデルより大きくなる場合にペナルティを課すカスタム損失関数を提案する。
• トレーニング中にこの損失を適用することで、各新しいモデルバージョンが前回のものよりも誤差低減の面で向上することを強制する。
• モデルに依存しないフレームワークを実現し、任意の既存の推薦モデルアーキテクチャへの統合を可能にする。
• オフラインデータセットと実際の産業界データの両方を用いて評価し、ニュースフィードシステムにおけるオンラインA/Bテストも実施する。

実験結果

リサーチクエスチョン

• RQ1 推薦システムが自らの過去の予測誤差から能動的に学習することで、性能を向上させることができるか？
• RQ2 ユーザーのクリックに加えて、過去バージョンのモデル誤差からのフィードバックを組み込むことで、連続学習ループをどのように改善できるか？
• RQ3 連続するモデル更新において自己補正を強制するための汎用的かつモデルに依存しない損失関数を設計できるか？
• RQ4 自己補正メカニズムは、オフライン指標とオンラインビジネスKPIの両方で測定可能な向上をもたらすか？

主な発見

• ReLoopは、CTR予測の4つの公開データセットにおいて、AUCやloglossの向上を含め、強力なベースラインと比較して一貫した性能向上を達成する。
• 単に過去の行動を模倣するのではなく、過去のモデル誤差から直接学習することで、知識蒸留や連続学習のベースラインを上回る。
• 実際の産業界のニュースフィードシステムにおけるオンラインA/Bテストにより、ReLoopがクリックスルーレートやユーザー参加度といった重要なビジネス指標を向上させることを確認した。
• 自己補正メカニズムにより、時間の経過とともに予測誤差が測定可能なレベルで低減され、提案された損失関数の有効性が示された。