[論文レビュー] Toward Amortized Ranking-Critical Training For Collaborative Filtering

Sam Lobel, Chunyuan Li+2 more|arXiv (Cornell University)|Apr 30, 2020

Data Stream Mining Techniques参考文献 61被引用数 9

ひとこと要約

本稿では、順位付けベースの目的関数を直接最適化するため、順位指標を近似するためのクリティックネットワークを訓練し、それをもとにエクスプロイトネットワークの更新をガイドする、共同フィルタリングのためのアクタ・クリティック強化学習フレームワークを提案する。この手法はニューラルネットワークを用いて順位計算をアモアタイズすることで、新しいアイテムリストに対する効率的な推論を可能にし、3つの大規模データセットにおいて最先端または優れた性能を達成する。

ABSTRACT

We investigate new methods for training collaborative filtering models based on actor-critic reinforcement learning, to more directly maximize ranking-based objective functions. Specifically, we train a critic network to approximate ranking-based metrics, and then update the actor network to directly optimize against the learned metrics. In contrast to traditional learning-to-rank methods that require re-running the optimization procedure for new lists, our critic-based method amortizes the scoring process with a neural network, and can directly provide the (approximate) ranking scores for new lists. We demonstrate the actor-critic's ability to significantly improve the performance of a variety of prediction models, and achieve better or comparable performance to the state-of-the-art on three large-scale datasets.

研究の動機と目的

• 新しいリストごとに再最適化を要する従来のラーニング・トゥ・ランク手法の非効率性に対処するため、順位スコア計算をアモアタイズすること。
• 代理損失に依存するのではなく、順位ベースの目的関数を直接最適化するための共同フィルタリングモデルの最適化を実現する。
• 複雑な順位指標を近似するクリティックネットワークを訓練し、その出力をもとにエクスプロイトネットワークのポリシー更新をガイドすることで、推奨性能を向上させる。
• 学習済みのクリティックを用いて近似順位スコアを提供することで、新しいアイテムリストに対する効率的な推論を可能にする。
• 直接順位最適化を用いることで、大規模推奨データセットにおいて最先端または競争力のある性能を達成する。

提案手法

• NDCG や MAP などの順位指標を近似するためのクリティックニューラルネットワークを訓練し、順位品質の微分可能な推定を可能にする。
• クリティックの出力を報酬信号として用い、ポリシー勾配法によりエクスプロイトネットワークを更新することで、順位性能を直接最適化する。
• クリティックネットワークを用いて新しいアイテムリストの近似スコアを提供することで、最適化手順の再実行なしに順位計算をアモアタイズする。
• エクスプロイトがアイテム順位を生成するポリシーを学習する強化学習問題として、訓練目的を定式化する。
• クリティックとエクスプロイトネットワークをエンドツーエンドに統合し、両方のコンポonentをバックプロパゲーションで同時に訓練可能にする。
• オフポリシー更新とエクスペリエンスリプレイを用いて、学習の安定性とサンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 クリティックネットワークは、共同フィルタリングの強化学習における代替報酬として、複雑な順位指標を効果的に近似できるか？
• RQ2 ニューラルクリティックを用いて順位計算をアモアタイズすることで、新しいアイテムリストに対する推論が高速かつスケーラブルになるか？
• RQ3 クリティックの報酬信号を直接最適化することで、代理損失に依存する標準的な共同フィルタリングと比較して推奨性能が向上するか？
• RQ4 順位指標とスケーラビリティの観点から、提案手法は最先端のラーニング・トゥ・ランクベースラインと比較してどのように差をつけるか？
• RQ5 再トレーニングなしに、クリティックネットワークは未観測のアイテムリストにどの程度一般化できるか？

主な発見

• 提案されたアクタ・クリティックフレームワークは、3つの大規模推奨データセットにおいて、最先端の手法と同等または優れた性能を達成する。
• クリティックネットワークは順位指標を効果的に近似し、ポリシー最適化のための正確で微分可能な報酬信号を提供する。
• クリティックを用いたアモアタイズド推論により、最適化手順の再実行なしに新しいアイテムリストのスコアリングが効率的に行える。
• NDCG や MAP などの指標を直接最適化することで、代理損失に依存する手法と比較して順位性能が向上する。
• 学習済みのクリティックのインダクティブバイアスのおかげで、スケーラブルであり、未観測のアイテムリストに対しても良好に一般化する。
• 実験的結果は、複数の評価指標で一貫した向上を示しており、直接順位最適化の有効性を確認する。