[論文レビュー] Interaction-aware Factorization Machines for Recommender Systems

Fuxing Hong, Dongbo Huang+1 more|arXiv (Cornell University)|Feb 26, 2019

Recommender Systems and Techniques参考文献 29被引用数 7

ひとこと要約

本稿では、相互作用に注意を払うメカニズム（IAM）を用いて、柔軟で構造的な特徴およびフィールドレベルの相互作用重要度を学習することで、因子化マシン（FM）を強化する新規モデルである相互作用に注意を払う因子化マシン（IFM）を提案する。IFMは特徴ごとの重要度にアテンションを、フィールドプロトタイプとのパラメトリックな類似度を用いることで、特徴工学を必要とせず、スパースな推薦データセットにおいて性能と効率性を向上させ、ベンチマークデータセットで最先端（SOTA）手法を6%以上上回る性能を達成する。

ABSTRACT

Factorization Machine (FM) is a widely used supervised learning approach by effectively modeling of feature interactions. Despite the successful application of FM and its many deep learning variants, treating every feature interaction fairly may degrade the performance. For example, the interactions of a useless feature may introduce noises; the importance of a feature may also differ when interacting with different features. In this work, we propose a novel model named \emph{Interaction-aware Factorization Machine} (IFM) by introducing Interaction-Aware Mechanism (IAM), which comprises the \emph{feature aspect} and the \emph{field aspect}, to learn flexible interactions on two levels. The feature aspect learns feature interaction importance via an attention network while the field aspect learns the feature interaction effect as a parametric similarity of the feature interaction vector and the corresponding field interaction prototype. IFM introduces more structured control and learns feature interaction importance in a stratified manner, which allows for more leverage in tweaking the interactions on both feature-wise and field-wise levels. Besides, we give a more generalized architecture and propose Interaction-aware Neural Network (INN) and DeepIFM to capture higher-order interactions. To further improve both the performance and efficiency of IFM, a sampling scheme is developed to select interactions based on the field aspect importance. The experimental results from two well-known datasets show the superiority of the proposed models over the state-of-the-art methods.

研究の動機と目的

• 標準的な因子化マシン（FM）がすべての特徴相互作用を同等に扱うという限界に対処すること。これはノイズを導入し、性能を低下させる要因となる。
• 既存のモデルでしばしば無視されるフィールドレベルの情報を、相互作用重要度の学習に組み込むこと。
• 手動による特徴工学を必要とせず、特徴およびフィールドレベルの両方で柔軟で構造的な相互作用重要度の学習を可能にすること。
• フィールドの側面の重要度に基づく新しいサンプリング戦略を通じて、モデルの効率性と性能を向上させること。
• 低次および高次相互作用を同時にモデル化する深層学習部品を統合することで、FMを一般化し、相互作用情報を保持すること。

提案手法

• ペairワイズ相互作用ベクトル上でアテンションネットワークを用いて、特徴相互作用重要度を学ぶ相互作用に注意を払うメカニズム（IAM）を導入する。
• 相互作用ベクトルと学習されたフィールド相互作用プロトタイプ間のパラメトリック類似度を用いて、フィールドレベルの相互作用効果をモデル化する。
• 段階的かつ因子化された表現を用いて高次相互作用を捉えるために、相互作用に注意を払うニューラルネットワーク（INN）とDeepIFMを提案する。
• フィールドの側面の重要度に基づいて相互作用を優先順位付けするサンプリング戦略を採用し、訓練の効率性と性能を向上させる。
• 過学習を防ぐためにドロップアウトとL2正則化を用い、ハイパーパrameterは検証を用いて調整して、過学習と不足学習のバランスを取る。
• FMと深層部品間で特徴埋め込みを共有することで、低次相互作用情報を保持しつつ、深層表現学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴およびフィールドレベルの両方で相互作用重要度をモデル化することで、標準的なFMを上回る推薦性能を達成できるか？
• RQ2 相互作用重要度の学習にフィールド情報を組み込むことで、スパースなデータにおけるモデルの一般化性とロバスト性にどのような影響を与えるか？
• RQ3 構造的かつ段階的な相互作用学習アプローチは、関係のないまたは弱い特徴相互作用に起因するノイズを低減できるか？
• RQ4 提案されたサンプリング戦略は、予測精度を損なうことなく、どの程度訓練の効率性を向上させるか？
• RQ5 FMM、AFM、DeepFMといった最先端モデルと比較して、IFMは性能およびパラメータ効率性の面でどの程度優れているか？

主な発見

• IFMは標準的なFMを著しく上回り、FrappeおよびMovieLensの両データセットで6%以上の相対的改善を達成した。
• ドロップアウトのkeep確率を中程度の値（0または1でない値）に設定した場合に、モデルが最良の性能を示し、最適な正則化効果が得られることを示した。
• L2正則化は、MovieLensデータセットでIFMの性能を約1.4%向上させ、フィールドの側面学習における過学習の制御に有効であることを確認した。
• 最適な隠れ要因数 $K_F$ は、MovieLensの方がFrappeよりも小さいことが分かった。これは、データセットのスパarsityおよびフィールド相互作用の複雑さの違いを反映している。
• IFMは、FFMの $O(mnK)$ に対して $O(mK)$ にパラメータの複雑さを低減し、優れた性能を維持しながらもより効率的である。
• フィールドの側面の重要度に基づくサンプリング戦略は、効率性と性能の両方を向上させ、情報量の多い相互作用を優先することの価値を示した。