[論文レビュー] An Attention-based Collaboration Framework for Multi-View Network Representation Learning

Meng Qu, Jian Tang+4 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Graph Neural Networks参考文献 30被引用数 27

ひとこと要約

本論文は、ノード表現のロバスト性を向上させるために、情報量に基づいて動的にビューを重み付けするアテンションベースの協調フレームワークを提案する。最小限のラベル付きデータで訓練されたアテンション機構を用いて、ビュー固有の埋め込みを統合することで、実世界のネットワークにおけるノード分類およびリンク予測において、最先端の単一ビューおよび多ビュー手法を上回る性能を発揮する。

ABSTRACT

Learning distributed node representations in networks has been attracting increasing attention recently due to its effectiveness in a variety of applications. Existing approaches usually study networks with a single type of proximity between nodes, which defines a single view of a network. However, in reality there usually exists multiple types of proximities between nodes, yielding networks with multiple views. This paper studies learning node representations for networks with multiple views, which aims to infer robust node representations across different views. We propose a multi-view representation learning approach, which promotes the collaboration of different views and lets them vote for the robust representations. During the voting process, an attention mechanism is introduced, which enables each node to focus on the most informative views. Experimental results on real-world networks show that the proposed approach outperforms existing state-of-the-art approaches for network representation learning with a single view and other competitive approaches with multiple views.

研究の動機と目的

• 既存のネットワーク表現学習手法が単一のネットワーク近接性ビューに依存するという制限を解決すること。この依存は偏りや不完全さを引き起こす可能性がある。
• 複数のネットワークビュー間での協調を可能にし、よりロバストで包括的なノード表現を生成すること。
• 異なるビューがノード表現品質に異なる寄与をすることを認識し、表現学習中にビュー固有の重みを自動で学習すること。
• アテンション機構を多ビューネットワーク学習に統合し、ノードが表現投票中に最も情報量の多いビューに注目できるようにすること。
• 実世界の多ビューネットワーク上でフレームワークを評価し、ノード分類やリンク予測などの下流タスクで優れた性能を示すこと。

提案手法

• グラフベースの埋め込み手法を用いて、各近接性タイプ（例：共同執筆、引用）に対してビュー固有のノード表現を学習する。
• これらのビュー固有の表現を投票メカニズムを通じて統合し、統一的でロバストなノード表現を生成する。
• ノード固有の重みを動的に学習するアテンション機構を導入し、モデルがより情報量の多いビューを優先できるようにする。
• アテンション重みは少量のラベル付きデータを用いて訓練され、各ノードごとに最も関連性の高いビューに適応的に焦点を当てる。
• バックプロパゲーションを用いてエンドツーエンドで訓練され、ビュー固有の表現最適化とアテンションベースの投票メカニズムの最適化を交互に実行する。
• 本フレームワークはスケーラブルであり、異種ネットワークにおけるメタパスから導出される任意の数のビューを含むネットワークにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 複数のネットワークビューを効果的に統合することで、単一ビュー手法よりもロバストなノード表現を生成できるか？
• RQ2 情報量に基づいてビューに異なる重みを動的に割り当てるアテンション機構が、多ビューネットワーク表現学習を改善できるか？
• RQ3 提案されたフレームワークは、ノード分類やリンク予測などの下流タスクにおいて、既存の単一ビューおよび多ビュー手法を上回る性能を示せるか？
• RQ4 本フレームワークは、多ビューネットワークにおけるビュー数や個々のビューの品質に対してどれほど感受性を示すか？
• RQ5 少量のラベル付きデータで、アテンション機構が各ノードに対して最も情報量の多いビューを効果的に特定・優先できるか？

主な発見

• 提案手法は、5つの実世界の多ビューネットワークにおいて、マルチラベルノード分類およびリンク予測の両タスクで最先端の性能を達成した。
• アテンション機構により、ノードが最も情報量の多いビューに注目できるようになるため、等重みのビュー統合モデルを上回る性能が得られた。
• アテンション重みの訓練に必要なラベル付きノードの数が非常に少なく、データ効率性が示された。
• ノイズが多いかスパースなビューに対しても、アテンション機構が表現投票中に信頼性の低いビューの重みを低下させることで、本手法はロバストであることがわかった。
• 実験結果から、単一ビューベースライン（例：DeepWalk、LINE、node2vec）および等重みの多ビュー手法の両方を一貫して上回ることが確認された。
• アブレーションスタディにより、アテンション機構と協調的投票が、本フレームワークの優れた性能の主な要因であることが確認された。