[論文レビュー] GraphFM: Graph Factorization Machines for Feature Interaction Modeling

Shu Wu, Zekun Li+4 more|arXiv (Cornell University)|May 25, 2021

Advanced Graph Neural Networks参考文献 57被引用数 14

ひとこと要約

GraphFMは、有益な特徴ペアから動的相互作用グラフを構築することで、高次元の特徴相互作用をモデル化する画期的なグラフ要因分解機械を提案する。FMの潜在的ベクトル相互作用とGNN風の近隣集約を統合し、CTR予測の性能を向上させる。モデルは、適応的エッジ選択によるノイズフィルタリングを伴いながらも、意味のある相互作用を明示的に学習することで、最先端の性能を達成する。

ABSTRACT

Factorization machine (FM) is a prevalent approach to modeling pairwise (second-order) feature interactions when dealing with high-dimensional sparse data. However, on the one hand, FM fails to capture higher-order feature interactions suffering from combinatorial expansion. On the other hand, taking into account interactions between every pair of features may introduce noise and degrade prediction accuracy. To solve the problems, we propose a novel approach, Graph Factorization Machine (GraphFM), by naturally representing features in the graph structure. In particular, we design a mechanism to select the beneficial feature interactions and formulate them as edges between features. Then the proposed model, which integrates the interaction function of FM into the feature aggregation strategy of Graph Neural Network (GNN), can model arbitrary-order feature interactions on the graph-structured features by stacking layers. Experimental results on several real-world datasets have demonstrated the rationality and effectiveness of our proposed approach. The code and data are available at https://github.com/CRIPAC-DIG/GraphCTR}{https://github.com/CRIPAC-DIG/GraphCTR

研究の動機と目的

• 特徴の組み合わせの爆発的増加と、関係のないペアワイズ相互作用によるノイズの影響により、因子分解機械（FM）が高次元相互作用をモデル化する際の限界を解消すること。
• 深層学習ベースのFM変種が暗黙的かつビット単位で高次元相互作用を学習するのを克服し、特徴相互作用の明示的かつ解釈可能なモデル化を可能にすること。
• グラフニューラルネットワーク（GNN）を活用して構造的な特徴相互作用学習を実現しつつ、動的エッジ構築により、有益な相互作用のみをモデル化すること。
• 学習された相互作用グラフとエッジ重みの可視化により、モデルの予測に対する人間が読み取り可能な説明を提供すること。
• 相互作用の順序と近隣サイズがモデル性能に与える影響を実証的に検証すること。

提案手法

• 特徴をグラフのノードとして表現し、ペアワイズ特徴相互作用をエッジとしてモデル化する。エッジ重みは微分可能相互作用選択メカニズムにより学習される。
• FMの内積ベースの相互作用関数をGNN風のメッセージパッシングフレームワークに統合し、層間で相互作用を集約する。
• 各層がより高次元の相互作用をモデル化する多層構造を採用し、深さに応じて相互作用の順序が上昇する。
• 各層でトップ-k選択戦略を適用し、最も有益な特徴相互作用（例：2次相互作用では上位7件、3次相互作用では上位4件など）のみを保持することで、ノイズと計算コストを低減する。
• 微分可能な損失関数を用いてエンドツーエンドでモデルを訓練し、特徴埋め込みと相互作用重みを同時に最適化可能にする。
• 層ごとの学習済みエッジ重みを可視化し、モデル意思決定の解釈と選択された相互作用の意味の有無を検証する。

実験結果

リサーチクエスチョン

• RQ1 特徴相互作用のグラフ構造的表現は、関係のないまたはノイズの多いペアワイズ相互作用をフィルタリングしながら、高次元相互作用を効果的にモデル化できるか？
• RQ2 グラフネットワークの深さが、次第に複雑化する特徴相互作用を捉える能力にどのように影響するか？
• RQ3 各層あたりの選択された相互作用数が、モデル性能と一般化能力に及ぼす影響はどの程度か？
• RQ4 学習された相互作用グラフは、モデル予測に対する人間が読み取れる説明を提供できるか？
• RQ5 多様な実世界データセットにおいて、GraphFMは既存のSOTAモデルと比較して、予測精度とロバスト性の面で優れているか？

主な発見

• GraphFMは、MovieLens-1M や Criteo を含む複数の実世界データセットで最先端のベースラインを上回り、AUCとlog-lossの両面で顕著な向上を示した。
• 各層あたりのサンプリング相互作用数を丁寧にチューニングした場合にモデルは最良の性能を発揮し、MovieLens-1Mではm₂×m₃ ≈ 9が最適設定であることがわかった。
• エッジ重みの可視化から、2次相互作用は主に有益である一方、3次相互作用や4次相互作用はインスタンスごとに選択的かつ重複が少なく、冗長な組み合わせの効果的フィルタリングが行われていることが示された。
• モデルは、性別と年齢、視聴時間、ジャンルといった意味のある特徴の組み合わせを効果的に特定し、予測に対する解釈可能な根拠を提供した。
• 正しく予測されたインスタンスでは、高次元相互作用が多様で文脈依存的であるのに対し、誤分類されたインスタンスでは、重複や冗長な相互作用がより顕著に見られた。これにより、モデルの選択メカニズムの有効性が裏付けられた。
• アブレーションスタディにより、相互作用の順序とモデル化される相互作用数の両方が性能に顕著な影響を与えることが確認された。近隣領域が大きすぎたり小さすぎたりすると、利得が減少する傾向が見られた。