[論文レビュー] Discrete Factorization Machines for Fast Feature-based Recommendation

Han Liu, Xiangnan He+4 more|arXiv (Cornell University)|May 6, 2018

Recommender Systems and Techniques参考文献 16被引用数 9

ひとこと要約

本稿では、因子分解マシン（FM）の特徴量埋め込みをバイナリ化することで、リソース制約のあるデバイスでも高速かつ低メモリで推薦を実行できる、新しいバイナリ埋め込みモデルである離散的要因分解マシン（DFM）を提案する。交互最適化アルゴリズムを用いて、バイナリパラメータをバランス性および非相関性の制約のもとで同時に最適化することで、実数値FMに近い性能を達成するとともに、実世界のデータセット上での推論を最大17.5倍に高速化する。

ABSTRACT

User and item features of side information are crucial for accurate recommendation. However, the large number of feature dimensions, e.g., usually larger than 10^7, results in expensive storage and computational cost. This prohibits fast recommendation especially on mobile applications where the computational resource is very limited. In this paper, we develop a generic feature-based recommendation model, called Discrete Factorization Machine (DFM), for fast and accurate recommendation. DFM binarizes the real-valued model parameters (e.g., float32) of every feature embedding into binary codes (e.g., boolean), and thus supports efficient storage and fast user-item score computation. To avoid the severe quantization loss of the binarization, we propose a convergent updating rule that resolves the challenging discrete optimization of DFM. Through extensive experiments on two real-world datasets, we show that 1) DFM consistently outperforms state-of-the-art binarized recommendation models, and 2) DFM shows very competitive performance compared to its real-valued version (FM), demonstrating the minimized quantization loss. This work is accepted by IJCAI 2018.

研究の動機と目的

• 大規模かつ特徴量豊富な推薦システムにおける実数値因子分解マシン（FM）の高い計算コストとストレージコストを軽減すること。
• モバイルおよびリソース制限のある推薦アプリケーション向けに、高速なデバイス内推論を可能にすること。
• バイナリ化による量子化誤差を最小限に抑え、モデルの精度を保持すること。
• 離散的で、バランスが取れており、非相関性を持つバイナリ埋め込みのエンドツーエンド最適化フレームワークを構築すること。
• 効率性および精度の両面で、既存のハッシュベースおよびバイナリ化された推薦モデルを上回ること。

提案手法

• 実数値特徴量埋め込み行列 V ∈ ℝ^{k×n} をバイナリ行列 B ∈ {±1}^{k×n} にバイナリ化することで、ビット単位の演算とコンactなストレージを可能にする。
• バイナリ、バランス、非相関性の制約の下で、離散最適化問題を同時に解くための交互最適化アルゴリズムを提案する。
• バイナリパラメータをエンドツーエンドで直接最適化する収束性のある更新ルールを導入し、学習後に丸め処理を行う二段階手法を回避する。
• バイナリ空間におけるユーザ・アイテムスコア計算を、浮動小数点乗算の代わりにXORベースの演算を用いることで高速化する。
• 非相関性およびバランス制約を適用することで、意味情報を保持したコンパクトで情報豊富なバイナリコードを確保する。
• 同じコンパイラおよびハードウェアを用いて、libFMとの公平な効率比較のため、C++でモデルを実装する。

実験結果

リサーチクエスチョン

• RQ1 FMパラメータのバイナリ化は、推論時間とメモリ使用量を顕著に削減しつつ、高い推薦精度を維持できるか？
• RQ2 実数値パラメータを学習した後でバイナリ化する標準的な二段階手法と比較して、バイナリ埋め込みのエンドツーエンド離散最適化はどのように異なるか？
• RQ3 離散的要因分解マシンは、実数値FMのパフォーマンスにどの程度近づけるか？
• RQ4 既存モデルと比較して、非相関性制約や正則化などのハイパーパrameterに、DFMはどの程度感度を示すか？
• RQ5 実世界の推薦ワークロードにおいて、DFMは実数値FMに対してどの程度の実用的高速化を達成できるか？

主な発見

• YelpおよびAmazonのデータセットにおいて、DFMはそれぞれlibFMに対して平均15.99倍および16.04倍の高速化を達成し、コード長が8から64にわたる範囲で加速比が安定して約16倍に保たれている。
• YelpおよびAmazonの両方のデータセットにおいて、DFMは最先端のバイナリ化された推薦モデルを上回り、NDCG@10で優れた一般化性能とロバスト性を示している。
• 非相関性およびL2正則化をゼロに設定した場合、Yelpでは1.91%、Amazonでは2.05%の性能低下にとどまるが、libFMはそれぞれ10.44%および6.56%の低下を示し、DFMのハイパーパrameter設定に対するロバスト性が裏付けられている。
• 両データセットにおいて、DFMは実数値FMベースラインの2%以内の性能に留まり、完全なバイナリ化にもかかわらず量子化誤差が最小限であることが示された。
• 提案された交互最適化アルゴリズムは収束し、予測性能を保持したままバランスが取れて非相関性を持つバイナリコードを効果的に学習できた。
• DFMの効率性と精度のトレードオフ特性は、大規模かつモバイル、リアルタイムの推薦システムへの展開に適している。