[論文レビュー] RaFM: Rank-Aware Factorization Machines

Xiaohong Chen, Yin Zheng+3 more|arXiv (Cornell University)|May 18, 2019

Machine Learning and ELM被引用数 4

ひとこと要約

RaFMは、特徴ごとの埋め込みランクを割り当てることで、ペairワイズ相互作用をモデル化するランク認識因子分解機械を提案する。この手法は、スパースで頻度が変動するデータセットにおいて、標準的なFMよりも高い性能を達成し、計算コストとストレージコストを削減する。動的かつ適応的なアクティブ要因の管理により、固定ランクFMと同等またはそれ以上の効率的な学習と推論が可能となる。

ABSTRACT

Factorization machines (FM) are a popular model class to learn pairwise interactions by a low-rank approximation. Different from existing FM-based approaches which use a fixed rank for all features, this paper proposes a Rank-Aware FM (RaFM) model which adopts pairwise interactions from embeddings with different ranks. The proposed model achieves a better performance on real-world datasets where different features have significantly varying frequencies of occurrences. Moreover, we prove that the RaFM model can be stored, evaluated, and trained as efficiently as one single FM, and under some reasonable conditions it can be even significantly more efficient than FM. RaFM improves the performance of FMs in both regression tasks and classification tasks while incurring less computational burden, therefore also has attractive potential in industrial applications.

研究の動機と目的

• 特徴の出現頻度が著しくばらつきが大きい状況において、標準的な因子分解機械（FMs）の性能低下を是正すること。
• 希少特徴の過学習と頻度の高い特徴の未学習を緩和するために、特徴ごとの埋め込みランクを許容すること。
• 1つの特徴に対して複数のランクを使用しても、計算コストとストレージコストを維持する。
• 非アクティブな要因を効率的に処理し、収束を保証する学習アルゴリズムを開発すること。
• 公開データセットおよび産業スケールのデータセットにおいて、優れた性能と効率性を示すこと。

提案手法

• RaFMは、各特徴に異なるランクを持つ複数の埋め込みベクトルを割り当てる。最大ランクは特徴の頻度によって決定される。
• ペアワイズ相互作用は、ランク別内積の和としてモデル化される：$\left<\mathcal{V}_i, \mathcal{V}_j\right> = \sum_{k=1}^{k_i} \bm{v}_i^{(k)} \cdot \bm{v}_j^{(k)}$。
• 多くの高ランク成分は、特徴値がゼロのとき非アクティブ（ゼロ）であることに着目し、効率的なストレージと評価を実現する。
• 非アクティブな要因を格納・更新しない統合型学習アルゴリズムを提案し、計算オーバーヘッドを低減する。
• 理論的分析により、妥当な仮定の下で訓練誤差と収束速度が有界であることを証明する。
• スパarsityに適したFTRLと、産業環境でのスケーラビリティを実現する分散学習を用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 特徴の頻度が著しく偏ったデータセットにおいて、各特徴に異なる埋め込みランクを割り当てることで、因子分解機械モデルがより高い性能を達成できるか？
• RQ2 このようなモデルは、固定ランクの標準FMと比較して、効率性を維持または向上させられるか？
• RQ3 複数ランク埋め込みにおけるアクティブ・非アクティブ要因の動的管理により、モデルサイズの削減と高速な学習が達成できるか？
• RQ4 提案された学習アルゴリズムは、過剰なパラメータによる過学習を避けて、効率的に収束できるか？
• RQ5 実世界および産業スケールのデータセットにおいて、DiFacto や MRMA といった既存手法と比較して、RaFM は性能と計算コストの両面で優れているか？

主な発見

• ML 10M、ML 20M、AMovie では、RaFMがログロスを1%〜2%改善し、Frappe では15%の有意な向上を達成した。
• Criteo データセットでは、RaFMがログロスを0.002削減し、実用的有意水準とされる0.001を上回った。
• 公開データセットでは、RaFMが標準FMの20%〜66%のモデルサイズ、24%〜95%の学習時間を実現した。
• 17億レコード、1億2000万特徴を有する産業用CTRデータセットにおいて、RaFMはロジスティック回帰（LR）よりAUCを約1%向上させ、モデルサイズは1.55倍に留まり、FMの7倍に比べて大幅に効率的であった。
• FMと比較して22%のモデルサイズ削減を達成しながら、AUC性能は同等またはそれを上回り、効率性と精度のトレードオフにおいて優れた性能を示した。
• 学習アルゴリズムは、誤差が有界で収束することが保証されており、非アクティブな要因は計算およびパラメータ更新の対象とされないため、効率的な学習が可能である。