[論文レビュー] Dropout Training of Matrix Factorization and Autoencoder for Link Prediction in Sparse Graphs

Shuangfei Zhai, Zhongfei Zhang|arXiv (Cornell University)|Dec 14, 2015

Advanced Graph Neural Networks参考文献 30被引用数 7

ひとこと要約

本稿では、スパースなグラフにおけるリンク予測のため、ドロップアウトを用いて訓練する、行列分解（MF）とオートエンコーダー（AE）を統合したMF+AEを提案する。MFとAEを共有パラメータで統合し、ドロップアウトを適応的正則化として用いることで、特に非凝集的グラフにおいて一般化性能が著しく向上し、6つの実世界データセットにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Matrix factorization (MF) and Autoencoder (AE) are among the most successful approaches of unsupervised learning. While MF based models have been extensively exploited in the graph modeling and link prediction literature, the AE family has not gained much attention. In this paper we investigate both MF and AE's application to the link prediction problem in sparse graphs. We show the connection between AE and MF from the perspective of multiview learning, and further propose MF+AE: a model training MF and AE jointly with shared parameters. We apply dropout to training both the MF and AE parts, and show that it can significantly prevent overfitting by acting as an adaptive regularization. We conduct experiments on six real world sparse graph datasets, and show that MF+AE consistently outperforms the competing methods, especially on datasets that demonstrate strong non-cohesive structures.

研究の動機と目的

• スパースなグラフにおけるリンク予測において、特に複雑で非凝集的なネットワーク構造をモデル化する際の過学習の課題に対処すること。
• グラフ表現学習の文脈における多視点学習において、行列分解（MF）とオートエンコーダー（AE）の関係を調査すること。
• MFとAEを共有パラメータで共同学習する統合モデル、MF+AEを構築し、表現学習を強化すること。
• ドロップアウトがMFおよびAEの両成分の訓練を安定化させ、一般化性能を向上させるインプリシット正則化技術としての有効性を調査すること。
• 提案手法を多様な実世界のスパースグラフで評価し、最先端のベースラインを上回る一貫した性能向上を示すこと。

提案手法

• MFとAEの両成分を共有重み行列を用いて訓練する統合モデルMF+AEを提案し、同じデータの2つのビューから補完的学習を可能にする。
• 訓練中にMFおよびAEの両成分にドロップアウトを適用し、重み行列の行または列に対するスケーリングされたℓ₂ノルムを暗黙的にペナルティ化することで、適応的正則化として機能する。
• 2次テイラー展開を用いてドロップアウトの効果を導出し、潜在要因に動的ℓ₂ペナルティを近似していることを示す。
• 最適化に確率的勾配降下法を用いることで、大規模なスパースグラフへのスケーラビリティを実現する。
• パラメータ削減と一般化性能の向上を目的に、対称版のMFおよびAEで重みを共有する。
• 6つの実世界のスパースグラフデータセット上で、標準的なリンク予測指標（例：AUC、AUPR）を用いてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして行列分解とオートエンコーダーを、スパースグラフにおけるリンク予測の向上を目的とした単一のモデルで統合できるか？
• RQ2 ドロップアウトをMFおよびAEの両成分に適用した場合、正則化および一般化性能に及ぼす理論的・実験的影響は何か？
• RQ3 共有パラメータでMFとAEを共同学習させることで、個別モデルや既存のベースラインよりも優れた性能が得られるか？
• RQ4 フォロワー・フォローアップ関係が支配的であるような非凝集的構造のグラフにおいて、モデルはどのように性能を発揮するか？
• RQ5 ドロップアウト訓練は、スパースグラフに一般的に見られる低データ環境において、MFおよびAEの過学習を効果的に緩和できるか？

主な発見

• MF+AEは、MF、AE、MDM、およびそれらのドロップアウト正則化版を含むすべての競合手法を、6つの実世界のスパースグラフデータセットにおいて一貫して上回る。
• ドロップアウト訓練により、MFおよびAEの両成分における過学習が顕著に軽減され、可視化結果から一般化性能が向上し、誤検出／誤検出が減少していることが裏付けられている。
• YouTube や Gplus のような非凝集的グラフでは、凝集的グラフよりも顕著な性能向上が得られており、非対称的・非対称的リンクパターンのモデリングに優れていることが示唆される。
• 予測結果の可視化から、MF+AEの出力が完全なグラフに最も近い外観を示している一方、MFd と AEd は誤検出が増加し、MDM は誤検出が顕著に増加している。
• 対称版のMFは凝集的グラフ（例：Facebook、Twitter）で優れた性能を発揮するが、非対称版は非凝集的グラフでより効果的であるため、MF+AEにおける柔軟なモデリングの必要性が裏付けられる。
• AEにおける非線形活性化関数の使用により、線形モデルに比べてより高いモデリング能力が得られ、複雑な非凝集的構造を捉える上で重要である。