[論文レビュー] GRATIS: Deep Learning Graph Representation with Task-specific Topology and Multi-dimensional Edge Features

Siyang Song, Yuxin Song+8 more|arXiv (Cornell University)|Nov 19, 2022

Advanced Graph Neural Networks被引用数 9

ひとこと要約

GRATIS は、事前定義されたグラフや非グラフデータを含む任意の入力データから、ジョイント頂点およびグローバルコンテキストモデリングを用いて、タスク固有のグラフトポロジーと多次元エッジ特徴量を学習する、新しいプラグアンドプレイフレームワークである。このフレームワークは、11のデータセットでグラフ分類、頂点分類、リンク予測のタスクにおいて、固定トポロジーおよび単一特徴量ベースラインを凌駕する適応的で補完的な表現を生成することで、性能を顕著に向上させる。

ABSTRACT

Graph is powerful for representing various types of real-world data. The topology (edges' presence) and edges' features of a graph decides the message passing mechanism among vertices within the graph. While most existing approaches only manually define a single-value edge to describe the connectivity or strength of association between a pair of vertices, task-specific and crucial relationship cues may be disregarded by such manually defined topology and single-value edge features. In this paper, we propose the first general graph representation learning framework (called GRATIS) which can generate a strong graph representation with a task-specific topology and task-specific multi-dimensional edge features from any arbitrary input. To learn each edge's presence and multi-dimensional feature, our framework takes both of the corresponding vertices pair and their global contextual information into consideration, enabling the generated graph representation to have a globally optimal message passing mechanism for different down-stream tasks. The principled investigation results achieved for various graph analysis tasks on 11 graph and non-graph datasets show that our GRATIS can not only largely enhance pre-defined graphs but also learns a strong graph representation for non-graph data, with clear performance improvements on all tasks. In particular, the learned topology and multi-dimensional edge features provide complementary task-related cues for graph analysis tasks. Our framework is effective, robust and flexible, and is a plug-and-play module that can be combined with different backbones and Graph Neural Networks (GNNs) to generate a task-specific graph representation from various graph and non-graph data. Our code is made publicly available at https://github.com/SSYSteve/Learning-Graph-Representation-with-Task-specific-Topology-and-Multi-dimensional-Edge-Features.

研究の動機と目的

• 従来のグラフ表現学習手法における固定で手動で定義されたグラフトポロジーおよび単一値エッジ特徴量の制限を克服すること。
• 画像やシーケンスなどの非グラフデータを含む、任意の入力からタスク固有で適応的なグラフ構築を可能にすること。
• タスク関連の関係をエンコードするタスク固有のトポロジーと豊かな多次元エッジ特徴量を同時に学習することで、下流のグラフ解析タスクの性能を向上させること。
• さまざまな GNN バックボーンと統合可能で、多様なデータタイプに適応可能な汎用的で頑健かつ柔軟なフレームワークを提供すること。
• タスク固有のトポロジーと多次元エッジ特徴量が、グラフ学習タスクにおける最適なパフォーマンスを達成するために補完的かつ不可欠であることを実証すること。

提案手法

• グラフ定義モジュールは、事前定義されたまたは学習された頂点表現を用いて、入力データから初期の原始的グラフを構築する。
• タスク固有トポロジー予測（TTP）モジュールは、頂点特徴量とグローバルコンテキストを用いて、確率的アドセンシー行列を学習し、タスクに適応したエッジ存在予測を可能にする。
• TTP モジュールは、非グラフデータのためのタスク固有の頂点特徴量も生成し、最終的なトポロジーを形成するとともに表現品質を向上させる。
• 多次元エッジ特徴量生成（MEFG）モジュールは、学習可能なネットワークを用いて、各接続頂点ペairに対してタスク固有の多次元エッジ特徴量を生成する。
• フレームワークは任意の GNN バックボーンと統合可能であり、クロスエントロピー損失と対照的損失を用いたエンドツーエンド学習により、トポロジーとエッジ特徴量を同時に最適化する。
• 最終的なグラフ表現は、学習されたトポロジーと多次元エッジ特徴量を組み合わせることで形成され、分類や予測タスクのための下流 GNN の入力として使用される。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、非グラフデータを含む任意の入力データから、タスク固有のグラフトポロジーと多次元エッジ特徴量を学習できるか？
• RQ2 タスク固有のトポロジーと多次元エッジ特徴量は、固定トポロジーおよび単一値エッジ特徴量と比較して、グラフ解析タスクのパフォーマンスにおいてどのように差をつけるか？
• RQ3 学習されたトポロジーと多次元エッジ特徴量は、下流タスクの精度向上において、どの程度補完的であるか？
• RQ4 ハイパーパramータ（頂点数やスケーリング係数 C）の変動に対して、このフレームワークはどの程度頑健か？
• RQ5 このフレームワークは、さまざまな GNN バックボーンと効果的に組み合わせられ、多様なデータセットおよびタスクでパフォーマンスを向上させることができるか？

主な発見

• GRATIS は、11のデータセットにおいて、グラフ分類、頂点分類、リンク予測のタスクで一貫して性能を向上させ、固定トポロジーおよび単一特徴量ベースラインを明確に上回る。
• タスク固有のトポロジーと多次元エッジ特徴量の組み合わせが最良のパフォーマンスを達成しており、これらがタスク関連の手がかりをエンコードする上で補完的であることが示された。
• ハイパーパramータ C の値の変化に対しても、F1 スコアの変動が BP4D および DISFA データセットで 3% 未満に抑えられ、ハイパーパramータ設定に対して頑健であることが確認された。
• 多次元エッジ特徴量は単一次元エッジ特徴量を上回る性能を示し、頂点間の複雑なタスク固有の関係を捉える重要性が裏付けられた。
• GRATIS は、多様な GNN バックボーンおよび予測器に対して性能向上を示し、既存の GNN アーキテクチャと高い汎用性と相互運用性を有することがわかった。
• 非グラフデータ（例：顔のアクションユニット）に対しても、固定トポロジーと単一値特徴量を用いる従来手法よりも優れたグラフ表現を学習でき、有効性が確認された。