[論文レビュー] IsoNN: Isomorphic Neural Network for Graph Representation Learning and Classification

Lin Meng, Jiawei Zhang|arXiv (Cornell University)|Jul 22, 2019

Advanced Graph Neural Networks参考文献 36被引用数 10

ひとこと要約

IsoNN は、入力グラフを学習済みテンプレートと照合するために置換行列を用いることで、同型部分グラフ特徴を学習する新しいグラフニューラルネットワークであり、ノード順序バイアスを排除する。min-pooling とソフトマックス融合を用いることで、部分構造を明示的に保持し、耐障害性・解釈可能性に優れた表現を実現し、ベンチマークグラフ分類データセットで最先端の性能を達成する。

ABSTRACT

Deep learning models have achieved huge success in numerous fields, such as computer vision and natural language processing. However, unlike such fields, it is hard to apply traditional deep learning models on the graph data due to the 'node-orderless' property. Normally, adjacency matrices will cast an artificial and random node-order on the graphs, which renders the performance of deep models on graph classification tasks extremely erratic, and the representations learned by such models lack clear interpretability. To eliminate the unnecessary node-order constraint, we propose a novel model named Isomorphic Neural Network (IsoNN), which learns the graph representation by extracting its isomorphic features via the graph matching between input graph and templates. IsoNN has two main components: graph isomorphic feature extraction component and classification component. The graph isomorphic feature extraction component utilizes a set of subgraph templates as the kernel variables to learn the possible subgraph patterns existing in the input graph and then computes the isomorphic features. A set of permutation matrices is used in the component to break the node-order brought by the matrix representation. Three fully-connected layers are used as the classification component in IsoNN. Extensive experiments are conducted on benchmark datasets, the experimental results can demonstrate the effectiveness of ISONN, especially compared with both classic and state-of-the-art graph classification methods.

研究の動機と目的

• グラフニューラルネットワークにおけるノード順序感受性の課題に対処することにより、モデルの耐障害性と解釈可能性を向上させること。
• 手動でのパターン選択や高コストな部分グラフ列挙を必要とせず、明示的かつ解釈可能な部分グラフ特徴抽出を可能にすること。
• グラフ学習における隣接行列表現が課す人工的なノード順序制約を排除すること。
• 構造的部分グラフパターンを保持する効率的でスケーラブルなグラフ表現学習手法を開発すること。
• 同型特徴学習を通じて明示的な部分構造情報を維持することで、グラフ分類性能を向上させること。

提案手法

• IsoNN は、入力グラフから同型特徴を抽出するために、学習済み部分グラフテンプレートをカーネル変数として用いる。
• ノードの同型性をテンプレートと入力グラフの間でモデル化するために、置換行列が用いられ、行列表現に起因するノード順序制約が解除される。
• 最小プーリング層は、各テンプレートごとに最良のノード置換を特定し、最も類似した部分グラフパターンを選択する。
• ソフトマックス層は、すべてのテンプレート間の特徴を正規化・統合し、一貫性があり頑健なグラフ表現を生成する。
• 分類部は、同型特徴からグラフラベルを予測するための3層の全結合層から構成される。
• 2つの効率的バージョン、IsoNN-fast 及びその最適化版は、全探索的な置換探索を回避するための固有値分解を用いて計算を高速化する。

実験結果

リサーチクエスチョン

• RQ1 テンプレートマッチングによる同型特徴学習は、解釈可能性を維持したままグラフ分類性能を向上させることができるか？
• RQ2 置換行列によるノード順序バイアスの排除が、グラフ分類タスクにおけるモデルの耐障害性と性能に与える影響は何か？
• RQ3 カーネルサイズとチャネル数（テンプレート数）が、モデルの精度と一般化性能に与える影響は何か？
• RQ4 特に大きな部分グラフにおいて、IsoNN の計算効率は、既存のグラフニューラルネットワークと比較してどうなるか？
• RQ5 明示的な部分グラフパターン学習は、GCN や GIN のような暗黙の集約ベース手法よりも、グラフレベルの構造情報を捉える上で優れているか？

主な発見

• IsoNN は、MUTAG、PTC、HIV-fMRI、HIV-DTI、BP-fMRI の5つのベンチマークデータセットにおいて、古典的手法および最先端手法を上回る性能を発揮した。
• 最適なカーネルサイズはデータセットごとに異なり、HIV-fMRI では k=2、HIV-DTI および MUTAG では k=4、BP-fMRI では k=3 で最高の性能が達成された。
• チャネル数（テンプレート数）を増やすことで性能は向上するが、ある閾値を超えると収益が減少し、それぞれのデータセットで最適値は c=3、2、1、1、2 であった。
• 時間コストはカーネルサイズの増加に伴い指数関数的に増加するが、チャネル数の増加は線形的な時間増加にとどまる。
• IsoNN-fast は、k>4 の場合に全探索的置換探索を固有値分解に置き換えることで、学習時間を顕著に短縮した。理論的な効率性向上が裏付けられた。
• GCN や GIN と比較して、IsoNN は表現に明示的な部分グラフ構造を保持しており、特徴集約に起因するグラフレベルの部分構造情報の損失を回避した。