[論文レビュー] Universal Function Approximation on Graphs

Rickard Brüel‐Gabrielsson|arXiv (Cornell University)|Mar 14, 2020

Topological and Geometric Data Analysis被引用数 7

ひとこと要約

本論文は、一対一の性質を持つ多値関数を用いた、グラフ同型クラスにおける普遍的関数近似のための新規フレームワークを提案する。この手法により、4つのベンチマークデータセットにおけるグラフ分類タスクで最先端の性能を達成する。本手法は持続的ホモロジーと木LSTMに類似したアーキテクチャを活用し、同型不変な表現をO(|edges| × |nodes|)の計算量で得る。これにより、従来手法に比べて非同型のグラフをより明確に区別できる。

ABSTRACT

In this work we produce a framework for constructing universal function approximators on graph isomorphism classes. We prove how this framework comes with a collection of theoretically desirable properties and enables novel analysis. We show how this allows us to achieve state-of-the-art performance on four different well-known datasets in graph classification and separate classes of graphs that other graph-learning methods cannot. Our approach is inspired by persistent homology, dependency parsing for NLP, and multivalued functions. The complexity of the underlying algorithm is O(#edges x #nodes) and code is publicly available (https://github.com/bruel-gabrielsson/universal-function-approximation-on-graphs).

研究の動機と目的

• グラフ同型クラスにおける普遍的関数近似の理論的根拠に基づくフレームワークの構築。
• 制御された再冗長性を持つ多値関数を用いることで、単射的グラフ表現の限界を克服すること。
• 理論的保証を維持したまま、グラフ分類タスクで最先端の性能を達成すること。
• 非同型のグラフを区別できるスケーラブルで学習可能な表現を提供すること。

提案手法

• 非同型のグラフに対して異なる表現を保証する、同型に一意な多値関数を用いたグラフ同型クラスへの適用。
• グラフを部分グラフに階層的に分解し、ソートに基づく符号化により冗長性を低減。
• 木LSTMとゲート付き再帰ユニットを用いて、学習可能なメモリ状態を持つ部分グラフ表現を符号化。
• エッジおよびノードのソート、部分グラフへの分解、ニューラルネットワークリーダーアウトを組み合わせた新規なアルゴリズムパイプラインを導入し、普遍的関数近似を実現。
• 残差接続とバッチ正則化を用いたニューラルネットワークリーダーアウトにより、部分グラフ特徴をグローバルなグラフ埋め込みに集約。
• 同型クラスごとの等価表現数を制御・解析するためのクラス再冗長性バウンドを導入。

実験結果

リサーチクエスチョン

• RQ1 同型に一意な性質を持つ多値関数は、グラフにおける普遍的関数近似の基盤として機能できるか？
• RQ2 グラフ同型、標準化、普遍的関数近似の間の理論的関係は何か？
• RQ3 スケーラブルで学習可能なグラフ表現は、有界なグラフ上で普遍的関数近似を達成できるか？
• RQ4 提案手法は、従来のグラフニューラルネットワークおよび持続的ホモロジー手法よりも、グラフ分類タスクで優れているか？
• RQ5 クラス再冗長性およびソート順序の影響は、モデルの汎化性能および学習安定性にどのように寄与するか？

主な発見

• 提案フレームワークは、MUTAG、PTC、PROTEINS、NCI1の4つのベンチマークグラフ分類データセットで最先端の性能を達成した。
• 他のグラフ学習フレームワークが分離に失敗する非同型のグラフに対しても、本手法は明確に区別できた。
• アルゴリズムの実行時間はO(|edges| × |nodes|)であり、実世界のグラフ学習応用において実用的である。
• クラス再冗長性はO((t1,1!)...(t1,l1!)(t2,1!)...(tk,lk!)(2p))で抑えられ、部分グラフの同定を用いることでより緊密なバウンドが得られる。
• 制御された単射性を持つ多値関数としてのグラフ表現の取り扱いにより、新たな分析が可能になった。
• ノード順序の変動に強く、ソートに基づく符号化によりトレーニング中の過学習が軽減された。