[論文レビュー] A Generic Coordinate Descent Framework for Learning from Implicit Feedback

Immanuel Bayer, Xiangnan He+2 more|arXiv (Cornell University)|Nov 15, 2016

Tensor decomposition and applications参考文献 23被引用数 5

ひとこと要約

本稿は、レコメンデーションシステムにおける暗黙的フィードバックからの効率的学習を目的とした汎用的座標降下（CD）フレームワーク、iCDを提案する。著者らは、効率的CD最適化の十分条件としてk分離性を同定し、多数の未観測相互作用についても正確かつサンプリングを要しない計算を可能にした。これにより、従来のCDやSGDと比較して顕著な高速化が達成され、因子分解マシンやタッカー分解といった複雑なモデルのスケーラブルな学習が可能になった。

ABSTRACT

In recent years, interest in recommender research has shifted from explicit feedback towards implicit feedback data. A diversity of complex models has been proposed for a wide variety of applications. Despite this, learning from implicit feedback is still computationally challenging. So far, most work relies on stochastic gradient descent (SGD) solvers which are easy to derive, but in practice challenging to apply, especially for tasks with many items. For the simple matrix factorization model, an efficient coordinate descent (CD) solver has been previously proposed. However, efficient CD approaches have not been derived for more complex models. In this paper, we provide a new framework for deriving efficient CD algorithms for complex recommender models. We identify and introduce the property of k-separable models. We show that k-separability is a sufficient property to allow efficient optimization of implicit recommender problems with CD. We illustrate this framework on a variety of state-of-the-art models including factorization machines and Tucker decomposition. To summarize, our work provides the theory and building blocks to derive efficient implicit CD algorithms for complex recommender models.

研究の動機と目的

• 大規模な暗黙的フィードバックデータ上で複雑なレコメンデーションモデルを最適化する際の計算課題に対処する。標準的手法（SGD）では収束問題が生じやすく、従来のCDは非現実的である。
• 座標降下最適化を未観測（コンテキスト、アイテム）ペアの全セットに対して効率的に行うための構造的性質「k分離性」を同定する。
• 因子分解マシンやテンソル因子分解を含む、多様な複雑なモデルに対応する汎用的フレームワークiCDを開発し、効率的CDソルバーを導出する。
• k分離性を持つモデルでは、すべての未観測ペアを反復処理することなく、暗黙的正則化項を正確に計算可能であることを示し、サンプリングの必要性を排除する。
• 特に高次元のアイテム空間や複雑な特徴相互作用を持つモデルに対して、SGDベースの手法（例：BPR）の実用的でスケーラブルな代替手段を提供する。

提案手法

• 暗黙的フィードバック学習を、安価な明示的損失の最小化と、すべての未観測（コンテキスト、アイテム）ペアにおける高価な暗黙的正則化項の最小化に再定式化する。
• k分離性の概念を導入：モデル構造が、勾配計算を分離可能な成分に分解できることで、暗黙的正則化項を効率的に計算可能となる性質。
• すべての未観測ペアを明示的に反復処理せずに、各変数（例：ユーザー要因やアイテム要因）の勾配と更新を計算する汎用的iCDアルゴリズムを導出する。
• 因子分解モデル（例：行列因子分解、因子分解マシン）の代数的性質を活用し、暗黙的正則化項を閉形式で計算可能な形に表現する。
• MF、FM、PARAFAC、タッカー分解に対して、k分離性の検証と対応する更新ルールの導出により、効率的ソルバーを実装する。
• フレームワークを応用し、ユーザー属性や順序特徴を含む柔軟で特徴豊富なモデル（例：属性対応FM）を構築し、iCDを用いて効率的に学習する。

実験結果

リサーチクエスチョン

• RQ1 単純な行列因子分解を超えて、複雑なレコメンデーションモデルに対して、座標降下を効率的に適用可能か？
• RQ2 未観測（コンテキスト、アイテム）ペアの全セットに対して、サンプリングを伴わずに効率的座標降下最適化を可能にするモデルの構造的性質は何か？
• RQ3 高次元のアイテム空間を持つモデルに対して、暗黙的フィードバック学習における暗黙的正則化項を正確かつ効率的に計算する方法は？
• RQ4 提案されたiCDフレームワークは、従来のCDおよびSGDベースのベースラインと比較して、学習速度とモデル品質の面でどの程度優れているか？
• RQ5 因子分解マシンやテンソル分解といった多様なモデルに対し、効率的ソルバーを導出するためのフレームワークの一般化可能性は？

主な発見

• iCDフレームワークは、k分離性を活用することで、負のサンプリングや近似を要せず、正確かつサンプリングフリーの暗黙的フィードバック問題最適化を実現する。
• 従来の座標降下ソルバーは大規模な暗黙的フィードバックに対して計算コストが高いため非現実的である。iCDは、標準CDと比較して学習時間を最大4桁短縮する。
• 7万件のアイテムを含むデータセットでは、従来のCDは1イテレーションあたり数週間を要したが、iCDは数分で完了し、実用的なスケーラビリティを示した。
• すべての特徴（属性、以前の動画、ユーザーID）を含むiCD-FMモデルは、コールドスタート、オフライン、インスタントレコメンデーションのすべての評価シナリオで最良のパフォーマンスを達成した。
• コールドスタート設定では、属性対応FMモデル（iCD-FM A）が人気ベースラインを2倍上回ったが、MFやCoviewモデルは人気ベースラインを超えることができなかった。
• フレームワークにより、FMモデルにおける柔軟な特徴工学が可能となり、ユーザー属性、順序行動、ユーザーIDを組み合わせることで、インスタントレコメンデーションシナリオで優れたパフォーマンスが得られた。