[論文レビュー] Segmented Graph-Bert for Graph Instance Modeling

Jiawei Zhang|arXiv (Cornell University)|Feb 9, 2020

Advanced Graph Neural Networks参考文献 30被引用数 5

ひとこと要約

本稿では、順序に依存しないアテンション、セグメント化された入力処理、および3つの統合戦略（フル入力、パディング/ pruning、セグメントシフト）を用いて、ノード順序の無関係性と可変なグラフサイズという課題を克服する、セグメント化されたグラフ-BERTアーキテクチャ、Seg-Bertを提案する。6つのベンチマークデータセットで最先端の性能を達成し、グラフインスタンスモデリングタスクにおける優れた一般化性と転移可能性を示している。

ABSTRACT

In graph instance representation learning, both the diverse graph instance sizes and the graph node orderless property have been the major obstacles that render existing representation learning models fail to work. In this paper, we will examine the effectiveness of GRAPH-BERT on graph instance representation learning, which was designed for node representation learning tasks originally. To adapt GRAPH-BERT to the new problem settings, we re-design it with a segmented architecture instead, which is also named as SEG-BERT (Segmented GRAPH-BERT) for reference simplicity in this paper. SEG-BERT involves no node-order-variant inputs or functional components anymore, and it can handle the graph node orderless property naturally. What's more, SEG-BERT has a segmented architecture and introduces three different strategies to unify the graph instance sizes, i.e., full-input, padding/pruning and segment shifting, respectively. SEG-BERT is pre-trainable in an unsupervised manner, which can be further transferred to new tasks directly or with necessary fine-tuning. We have tested the effectiveness of SEG-BERT with experiments on seven graph instance benchmark datasets, and SEG-BERT can out-perform the comparison methods on six out of them with significant performance advantages.

研究の動機と目的

• グラフインスタンス表現学習におけるノード順序の無関係性と可変なグラフサイズの課題に対処すること。
• 深層アーキテクチャで性能が低下し、順序不変性を満たしにくい既存のGNNおよびGCNベースのモデルの限界を克服すること。
• スケーラブルで効率的な学習を可能にするために、複数の入力戦略を用いたセグメント化アーキテクチャによる多様なグラフインスタンスサイズの統合。
• グラフインスタンスタスクにおける自己教師付き事前学習と転移学習を可能にし、重複するトレーニングとリソースの無駄を削減すること。
• 単一のフレームワーク内でノードレベルとグラフレベルの表現学習を統合し、異なるデータセット間でのモデル転送を支援すること。

提案手法

• ノード順序に依存するコンponentを排除し、自己アテンションと順序に依存しない入力を中心に据えることで、ノード順序の無関係性を処理するようにグラフ-BERTを再設計する。
• 大規模なグラフを固定サイズkの管理可能な入力ポータルに分割するセグメント化アーキテクチャを実装し、スケーラブルな処理を実現する。
• 3つのグラフサイズ統合戦略を導入：フル入力（全グラフ）、パディング/ pruning（切り詰めまたはゼロパディング）、セグメントシフト（重複するスライディングウィンドウ）。
• ノード属性が存在しない場合に、固定順序のグラフ隣接関係を入力として再導入し、構造的情報を保持する。
• 個々のターゲットノードごとの残差ではなく、全ノードまたはセグメント全体に対して計算されたグローバルグラフ残差項を用いることで、表現学習を強化する。
• 自己教師付き事前学習の後に、ノード属性再構築、グラフ構造回復、グラフ分類などの下流タスクでの微調整を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフインスタンスデータに内在するノード順序の無関係性を効果的に処理できるように、グラフ-BERTを再設計できるか？
• RQ2 異なるグラフサイズ統合戦略（フル入力、パディング/pruning、セグメントシフト）は、モデルの性能とトレーニング効率にどのように影響するか？
• RQ3 事前学習済みのSeg-Bertモデルは、サイズや構造が異なる多様なグラフインスタンスデータセット間で、どの程度一般化可能か？
• RQ4 ノード属性が存在しない状況で、グローバルグラフ残差項の導入が表現学習を改善するか？
• RQ5 Seg-Bertは、グラフインスタンス分類、再構築、表現学習タスクにおいて、最先端のモデルを上回ることができるか？

主な発見

• Seg-Bertは、IMDB-Binaryで75.40%の精度を達成するなど、7つのベンチマークデータセットのうち6つで最先端のモデルを上回った。DGCNN や CapsGNN より顕著に優れた性能を示した。
• セグメントシフト戦略は、フル入力と同等の性能を達成しながら、トレーニング時間を著しく短縮し、ダミーのパディングを最小限に抑えることができ、効率性と有効性の面でパディング/pruningを上回った。
• フル入力戦略は最高の性能を発揮したが、COLLAB、PROTEINS、NCI1で10分割交差検証を実行するのに3日以上を要するなど、大規模なグラフに対しては実用的でない。
• MUTAGでは生の残差項が性能向上に寄与したが、他のデータセットでは限定的な向上にとどまり、ノード属性のないグラフでは隣接関係埋め込みが疎であることが原因と考えられる。
• バリデーションセットに基づく早期停止は不可欠である。ノードドロップアウトや重み減衰を適用しても、グラフインスタンス分類モデルは急速に過学習する。
• 事前学習済みのSeg-Bertモデルは、効果的な転移学習を可能にし、重複するトレーニングを削減し、最小限の再トレーニングで新しいタスクに直接または微調整して展開可能となった。