[論文レビュー] fastFM: A Library for Factorization Machines

Immanuel Bayer|arXiv (Cornell University)|May 4, 2015

Recommender Systems and Techniques参考文献 14被引用数 23

ひとこと要約

この論文は、因子分解マシン（FMs）の高速でパフォーマンスに優れたオープンソースのPythonライブラリであるfastFMを紹介している。ALS、SGD、MCMC手法を用いて回帰、分類、順序付けのタスクに効率的なソルバを実装しており、libFMと同等の実行時間性能を達成するとともに、scikit-learn互換インターフェースを提供することで、機械学習ワークフローへの容易な統合とインタラクティブな実験を可能にしている。

ABSTRACT

Factorization Machines (FM) are only used in a narrow range of applications and are not part of the standard toolbox of machine learning models. This is a pity, because even though FMs are recognized as being very successful for recommender system type applications they are a general model to deal with sparse and high dimensional features. Our Factorization Machine implementation provides easy access to many solvers and supports regression, classification and ranking tasks. Such an implementation simplifies the use of FM's for a wide field of applications. This implementation has the potential to improve our understanding of the FM model and drive new development.

研究の動機と目的

• 主流の機械学習ツールボックスにおける因子分解マシン（FMs）の利用可能性と使いやすさの制限に対処すること。
• 複数の学習タスクとソルバーをサポートする高パフォーマンスで拡張可能なFMsの実装を提供すること。
• scikit-learn互換のPythonインターフェースを通じて、FMsのインタラクティブでダイナミックな利用を可能にすること。
• パブリックに利用可能で、十分にテストされたコードベースを、許可の緩いBSDライセンスのもとで提供することで、研究開発を支援すること。
• 協調フィルタリングやクリックスルーレート予測のようなスパースで高次元のデータを扱う応用分野におけるFMsの採用を促進すること。

提案手法

• パフォーマンスが求められる計算にはCベースのコア（fastFM-core）を、使いやすさにはCythonを介したPythonインターフェースを用いる、マルチレイヤーアーキテクチャを採用している。
• スパース行列には圧縮行ストレージ（CRS）形式を採用し、最適化されたスパース行列-ベクトル演算のためにCXSparseライブラリを統合している。
• 主なソルバーとして、交互最小二乗法（ALS）、確率的勾配降下法（SGD）、およびマルコフ連鎖モンテカルロ（MCMC）サンプリングをサポートしている。
• 順序付けタスクでは、SGDを用いたベイジアンパーソナライズドランク（BPR）損失を実装している。
• MCMCソルバーはガウス事前分布を採用し、事後分布の診断を含む完全なベイジアン推論をサポートしている。
• Pythonインターフェースはscikit-learnのAPIを模倣しており、既存のMLパイプラインへのシームレスな統合を可能にするとともに、ウォームスタートや反復的モデルの検査といった機能を提供している。

実験結果

リサーチクエスチョン

• RQ1 回帰、分類、順序付けの複数の学習タスクとソルバーをサポートしつつ、人気のあるMLフレームワークと互換性を保ちながら、高パフォーマンスで使いやすいFMライブラリを構築できるか。
• RQ2 fastFMの実行時間性能は、libFMなどの既存のFM実装と比較して、さまざまなタスクやモデル設定においてどの程度の差があるか。
• RQ3 ライブラリの設計が、PythonにおけるFMsのインタラクティブで拡張可能な実験をどの程度可能にするか。
• RQ4 fastFMのMCMCソルバーが、ハイパーパrameter（例：σw）の収束診断を含め、信頼性のあるベイジアン推論をサポートできるか。
• RQ5 ライブラリのテストスイートと継続的インテグレーションパイプラインは、コードの正しさと保守性をどの程度保証しているか。

主な発見

• fastFMのALSおよびMCMCソルバーは、MovieLens 10MデータセットにおいてlibFMと同等の実行時間性能を達成しており、因子分解のランクに応じて線形スケーリングしている。
• すべての評価されたタスクと設定において、fastFMのソルバーの精度はlibFMと区別できない。
• MCMCソルバーはベイジアンモデルチェックを効果的にサポートしており、σwなどのハイパーパrameterの収束診断がMCMCチェイン全体にわたって可視化されている。
• Pythonインターフェースにより、各イテレーション後にリアルタイムでのモデル検査が可能であり、1イテレーションあたり1回の関数呼び出しで実現され、パフォーマンスへの影響は無視できるほど小さい。
• ライブラリのモジュラー設計とCythonの活用により、効率的なC-Python相互運用が可能となり、他のプロジェクトへの拡張や統合が簡素化されている。
• 自動テストを備えた継続的インテグレーションパイプラインにより、コード品質と信頼性が保証されており、MCMCでは事後分布の分位数、SGDでは有限差分を用いてソルバーが検証されている。