[論文レビュー] Graph Star Net for Generalized Multi-Task Learning

Lu Haonan, Seth H. Huang+2 more|arXiv (Cornell University)|Jun 21, 2019

Advanced Graph Neural Networks参考文献 29被引用数 32

ひとこと要約

GraphStarは、モデルの深さや計算コストを増加させることなく、局所的およびグローバルなグラフ表現を捉えるために仮想のスター・ノードを仮想のメッセージ伝達リレーめとして使用する、画期的なグラフニューラルネットワークアーキテクチャを導入する。このモデルは、ノード分類、グラフ分類、リンク予測のタスクにおいて最先端の性能を達成し、主要なベンチマークで先行手法を2–5%上回る。また、未学習のグラフに対しても帰納的学習を可能にする。

ABSTRACT

In this work, we present graph star net (GraphStar), a novel and unified graph neural net architecture which utilizes message-passing relay and attention mechanism for multiple prediction tasks - node classification, graph classification and link prediction. GraphStar addresses many earlier challenges facing graph neural nets and achieves non-local representation without increasing the model depth or bearing heavy computational costs. We also propose a new method to tackle topic-specific sentiment analysis based on node classification and text classification as graph classification. Our work shows that 'star nodes' can learn effective graph-data representation and improve on current methods for the three tasks. Specifically, for graph classification and link prediction, GraphStar outperforms the current state-of-the-art models by 2-5% on several key benchmarks.

研究の動機と目的

• モデルの深さや計算コストを増加させることなく、グラフニューラルネットワークにおける長距離依存関係を捉える課題に対処すること。
• ノード分類、グラフ分類、リンク予測を1つの帰納的フレームワークに統合すること。
• 特にデータが少ない状況下で、未学習のグラフデータに対する一般化性能と帰納的バイアスを向上させること。
• グラフベースの表現を用いて、トピック特化型センチメント分析およびテキスト分類を効果的に行うこと。
• 仮想のスター・ノードを情報リレーめとして用いることで、階層的かつグローバルに注意を向けるグラフ表現を設計すること。

提案手法

• GraphStarは、グラフ全体にわたりグローバル情報を集約する仮想のリレーポイントとしてのスター・ノードを導入し、非局所的メッセージ伝達を可能にする。
• 2段階の更新プロセスを採用：まず、実ノードの表現を近隣ノードとスターを用いて更新し、次にスターをすべての実ノード表現を用いて更新する。
• ノードとスター間の注意重みを計算するために、マルチヘッド自己注意機構を採用し、動的特徴重み付けを可能にする。
• スター・ノードは、グラフの階層的かつグローバルな要約として機能し、直接的にグラフ分類タスクに利用可能である。
• モデルは帰納的設計となっており、再トレーニングなしに以前に見られなかったグラフに対しても予測が可能である。
• 軽量で線形時間計算量の注意機構を用いることで、局所的近隣集約とグローバルコンテキストモデリングを統合する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークが、モデルの深さや計算コストを増加させることなく、グローバルなグラフ構造を効果的に捉えることができるか？
• RQ2 1つの統合アーキテクチャが、強力な帰納的バイアスを備えて、同時にノード分類、グラフ分類、リンク予測を実行できるか？
• RQ3 仮想のスター・ノードが、複数のグラフタスクにわたる表現学習を改善するための効果的なグローバル情報リレーとして機能できるか？
• RQ4 GraphStarは、特にデータが少ないか帰納的設定下で、未学習のグラフにどの程度一般化できるか？
• RQ5 スター・ノード機構が、トピック特化型センチメント分析やテキスト分類などの下流タスクのパフォーマンスを向上させられるか？

主な発見

• GraphStarは、グラフ分類およびリンク予測タスクの主要なベンチマークで、最先端のモデルを2–5%上回る。
• IMDBデータセットでは、訓練データサイズを大幅に削減しても高いテスト精度（94.0%）を達成し、優れた一般化性能を示している。
• PPIデータセットでは、訓練データの大幅な削減に対しても強固なパフォーマンスを維持しており、データ不足に対する耐性が確認された。
• 10分割交差検証において、GraphStarはEnzymesおよびProteinsデータセットにおいて、実行回数にかかわらず高い安定性を示し、先行SOTAモデルを上回った。
• 1つの統合アーキテクチャ内で、ノード分類、グラフ分類、リンク予測の3つのタスクにおいても、SOTAの結果を達成した。
• GraphStarは、トピック特化型センチメント分析およびテキスト分類における効果的な帰納的学習を可能にし、従来のトランスダクティブなノード分類ベースラインを上回った。