[論文レビュー] Multi-Level Network Embedding with Boosted Low-Rank Matrix Approximation

Jundong Li, Liang Wu+1 more|arXiv (Cornell University)|Aug 26, 2018

Advanced Graph Neural Networks参考文献 35被引用数 3

ひとこと要約

この論文では、従来のネットワーク埋め込みにおけるグローバルな低ランク行列近似の制限を克服するため、段階的でブースティングに類似した方法でノード表現を学習する、多段階ネットワーク埋め込みフレームワークであるBoostNEを提案する。反復的に低ランク近似を用いて残差接続行列を精緻化することで、複数の粒度にわたる階層的な接続パターンを捉え、ノード分類およびリンク予測タスクで最先端の性能を達成する。

ABSTRACT

As opposed to manual feature engineering which is tedious and difficult to scale, network representation learning has attracted a surge of research interests as it automates the process of feature learning on graphs. The learned low-dimensional node vector representation is generalizable and eases the knowledge discovery process on graphs by enabling various off-the-shelf machine learning tools to be directly applied. Recent research has shown that the past decade of network embedding approaches either explicitly factorize a carefully designed matrix to obtain the low-dimensional node vector representation or are closely related to implicit matrix factorization, with the fundamental assumption that the factorized node connectivity matrix is low-rank. Nonetheless, the global low-rank assumption does not necessarily hold especially when the factorized matrix encodes complex node interactions, and the resultant single low-rank embedding matrix is insufficient to capture all the observed connectivity patterns. In this regard, we propose a novel multi-level network embedding framework BoostNE, which can learn multiple network embedding representations of different granularity from coarse to fine without imposing the prevalent global low-rank assumption. The proposed BoostNE method is also in line with the successful gradient boosting method in ensemble learning as multiple weak embeddings lead to a stronger and more effective one. We assess the effectiveness of the proposed BoostNE framework by comparing it with existing state-of-the-art network embedding methods on various datasets, and the experimental results corroborate the superiority of the proposed BoostNE network embedding framework.

研究の動機と目的

• 現実のネットワークに見られる複雑で非低ランクの接続パターンを捉えられない、従来のネットワーク埋め込みにおけるグローバルな低ランク行列近似の根本的限界に対処する。
• 異なる粒度で多様なノード相互作用パターンをモデル化できない、単一の因子分解手法の不十分さを克服する。
• 勾配ブースティングのアンサンブル学習における成功を模倣するように、粗い粒度から細かい粒度へと段階的にノード表現を学習する多段階フレームワークを開発する。
• 各段階で残差行列を分解することで、グローバルな低ランク仮定を緩和し、埋め込み表現の段階的で繰り返しの改良を可能にする。
• 行列因子分解に基づくネットワーク埋め込みと互換性があり、表現力と一般化性能を向上させる統一的でスケーラブルなフレームワークを提供する。

提案手法

• ノードの近接性や構造的パターンから導かれる閉形式の接続行列を用いて、ネットワーク埋め込み問題を行列因子分解フレームワークに定式化する。
• 接続行列に対して低ランク行列近似（例：SVD、NMF）を適用し、初期の埋め込み表現を生成する。
• 元の接続行列とその低ランク近似との差分として残差行列を計算し、説明されなかった接続パターンを捉える。
• 段階的に反復的に残差行列に低ランク近似を適用することで、次第に精緻化された埋め込み表現の系列を生成する。
• 各段階で得られる複数の弱い埋め込み表現を、ブースティングに類似した集約手法により統合し、最終的な強力でより判別力の高い埋め込みを得る。
• 各ステップでの完全な行列再構築を避けることで、効率的な低ランク因子分解技術を活用し、計算スケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 反復的に残差接続行列を精緻化する多段階埋め込みフレームワークは、複雑なネットワーク構造を捉える上で、単一レベルの低ランク行列近似よりも優れた性能を発揮するか？
• RQ2 複数の低ランク近似をブースティングに類似した段階的学習で行うことで、最先端のネットワーク埋め込み手法と比較してノード表現の質が向上するか？
• RQ3 グローバルな低ランク仮定を緩和することで、多様なネットワークタイプにおいて学習されたノード埋め込みの表現力はどの程度向上するか？
• RQ4 埋め込み階層における異なる粒度の段階が、ノード分類やリンク予測などの下流タスクにどのように寄与するか？
• RQ5 大規模ネットワークにおいて、表現品質を向上させながらも、計算効率を維持できるか？

主な発見

• BoostNEは、複数の実世界データセットにおいてノード分類およびリンク予測タスクで最先端の性能を達成し、既存のSOTA手法を上回る。
• 多段階フレームワークにより、単一の因子分解手法が見逃す階層的かつ非グローバルな低ランクパターンを捉えることで、埋め込み品質が著しく向上する。
• アブレーションスタディにより、ブースティングプロセスの各段階が最終表現に有意義に寄与しており、性能が段階的に向上することが確認された。
• 社会的ネットワーク、引用ネットワーク、共同作業ネットワークを含む多様なネットワークタイプにおいて、強力なロバストネスを示し、広範な適用可能性を示している。
• 残差行列の分解戦略により、初期の低ランク近似で捉えられなかった複雑な接続パターンを効果的に分離・モデル化できた。
• 効率的な低ランク因子分解と段階的更新に依存することで、大規模ネットワークにおいても計算の実行可能性を維持している。