[論文レビュー] Graph Embedding with Rich Information through Bipartite Heterogeneous Network.

Guolei Sun, Xiangliang Zhang|arXiv (Cornell University)|Oct 18, 2017

Advanced Graph Neural Networks参考文献 21被引用数 2

ひとこと要約

本論文は、ノードおよびエッジからの豊富なテキスト情報を考慮して二部非同型ネットワークを構築し、柔軟な近隣探索を伴う偏り付きランダムウォークを用いて、強化された表現を学習する、新しいグラフ埋め込みフレームワークを提案する。この手法は、ベースラインと比較してCoraデータセット上でMicro-F1を10%、Macro-F1を7%向上させる。

ABSTRACT

Graph embedding has attracted increasing attention due to its critical application in social network analysis. Most existing algorithms for graph embedding only rely on the typology information and fail to use the copious information in nodes as well as edges. As a result, their performance for many tasks may not be satisfactory. In this paper, we proposed a novel and general framework of representation learning for graph with rich text information through constructing a bipartite heterogeneous network. Specially, we designed a biased random walk to explore the constructed heterogeneous network with the notion of flexible neighborhood. The efficacy of our method is demonstrated by extensive comparison experiments with several baselines on various datasets. It improves the Micro-F1 and Macro-F1 of node classification by 10% and 7% on Cora dataset.

研究の動機と目的

• 既存のグラフ埋め込み手法がノードおよびエッジに含まれる豊富なテキスト情報を無視するという制限を解決すること。
• ノードおよびエッジの属性をグラフ埋め込みに統合する一般化された表現学習フレームワークを構築すること。
• 非同型ネットワーク構造を活用して、ノード分類などの下流タスクのパフォーマンスを向上させること。
• 構築された二部非同型ネットワークにおける偏り付きランダムウォークを通じて、柔軟な近隣探索戦略を設計すること。

提案手法

• ノードおよびエッジを別々のタイプとしてモデル化し、豊富なテキスト属性を有する二部非同型ネットワークを構築する。
• ノードおよびエッジのテキスト情報に基づいてパスの優先順位を決定する偏り付きランダムウォークメカニズムを導入する。
• ランダムウォークプロセスにおいて局所的およびグローバルな構造的情報をバランスさせるために、柔軟な近隣探索を定義する。
• 偏り付きランダムウォークによって生成されたシーケンスを用いて、ノードの低次元ベクトル表現を学習する。
• 構造的およびテキスト的関係を保持するために、ネガティブサンプリングを用いたスキップグラムを用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ノードおよびエッジからの豊富なテキスト情報を統合することで、グラフ表現学習が向上するか？
• RQ2 提案された柔軟な近隣探索を伴う偏り付きランダムウォークは、標準的なランダムウォークに比べて非同型ネットワーク構造をどれほど効果的に捉えられるか？
• RQ3 このフレームワークは、ノード分類タスクにおいてどの程度パフォーマンスを向上させるか？
• RQ4 この手法は、テキストの豊富さが異なるさまざまなデータセットに一般化可能か？

主な発見

• 提案手法は、ベースライン手法と比較してCoraデータセットにおけるノード分類タスクでMicro-F1を10%向上させる。
• CoraデータセットではMacro-F1が7%向上しており、レアクラスや頻度の低いクラスにおいても優れたパフォーマンスを示している。
• 広範な実験により、複数のデータセットおよびタスクにおいてこのフレームワークの有効性が確認された。
• 二部非同型ネットワークの構築を通じた豊富なテキスト情報の統合は、より情報豊かなノード表現をもたらす。