[論文レビュー] Contextual Graph Markov Model: A Deep and Generative Approach to Graph Processing

Davide Bacciu, Federico Errica+1 more|arXiv (Cornell University)|May 27, 2018

Advanced Graph Neural Networks参考文献 24被引用数 37

ひとこと要約

本稿では、循環構造を含む任意のトポロジーを持つグラフの階層的・文脈的表現を、巡回的でない構造に依存せずに段階的・階層的な確率的符号化によって学習する、深層生成フレームワークである文脈的グラフマルコフモデル（CGMM）を提案する。このモデルは、プーリングと自己教師付き事前学習を組み合わせた深層的・生成的アーキテクチャにより、ノードおよびエッジ間でスケーラブルかつ対称的な文脈伝播を可能にし、MUTAGで91.18%の正確性を達成するなど、グラフ分類ベンチマークで最先端の性能を示した。

ABSTRACT

We introduce the Contextual Graph Markov Model, an approach combining ideas from generative models and neural networks for the processing of graph data. It founds on a constructive methodology to build a deep architecture comprising layers of probabilistic models that learn to encode the structured information in an incremental fashion. Context is diffused in an efficient and scalable way across the graph vertexes and edges. The resulting graph encoding is used in combination with discriminative models to address structure classification benchmarks.

研究の動機と目的

• 任意のトポロジー（循環を含む）を持つグラフにおける構造的表現の学習に取り組むこと。特に、因果関係の仮定や固定サイズの事前処理に依存しないこと。
• 段階的・階層的な符号化を経て、構造的情報を段階的にエンコードするスケーラブルな深層生成モデルを構築すること。これにより、豊富で再利用可能なグラフ表現が得られる。
• 生成的モデリングと判別的分類（例：SVM）を組み合わせ、ラベル付きおよびラベルなしデータを活用してグラフ分類タスクの性能を向上させること。
• 再帰的モデルやグラフカーネルの限界を克服し、循環グラフにおいて対称的な文脈拡散と階層的特徴学習を可能にすること。
• 自己教師付き事前学習による生成的モデルが、半教師あり設定での正確性を向上させられ、多様なグラフベンチマークに一般化可能であることを実証すること。

提案手法

• CGMMは、各層が段階的に構造的情報をエンコードする、階層的確率的モデルの深層アーキテクチャを構築する。各層がより複雑な文脈的情報を捉える。
• 頂点およびエッジのラベルをモデル化するため、生成的「ボトムアップ隠れ木マルコフモデル（BUHTMM）」を基盤とし、完全な定常性と確率的推論を可能にする。
• 深層的・階層的なレイヤー構造により、ノードおよびエッジ間で対称的に情報が拡散され、反復的収束や高コストな拡散手順を回避する。
• 各層は完全に局所的な計算を実行するため、グローバルなグラフ再編成を必要とせず、高いスケーラビリティと効率的な学習が可能である。
• モデルは、層間での表現の圧縮を目的としたプーリング戦略を採用し、最終的な隠れ表現は層ごとの表現を連結して得る。この表現は、後続の判別的モデルで利用される。
• 最終分類器（例：SVM）は、学習済みのグラフフィンガープrint（指紋）を入力として、グリーディ層別事前学習とファインチューニングを介したエンドツーエンド学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 任意のトポロジー（循環を含む）を持つグラフに対して、因果順序や非巡回性の仮定に依存せずに、深層的・生成的モデルが効果的に文脈的表現を学習できるか。
• RQ2 複数の層にわたる階層的・段階的符号化は、浅いモデルや固定サイズの手法と比較して、グラフ埋め込みの表現力にどのように寄与するか。
• RQ3 生成的モデルによる自己教師付き事前学習が、特に半教師あり設定において、下流の分類正確性をどの程度向上させられるか。
• RQ4 深さが学習済み表現の質にどのように影響するか。性能は深さの増加に伴い飽和するか、あるいは劣化するか。
• RQ5 標準的なグラフ分類ベンチマークにおいて、CGMMは最先端のグラフカーネルやニューラルネットワークと比較して、競争的または優れた性能を達成できるか。

主な発見

• CGMMは、MUTAGデータセットでネストドクロスバリデーションを用いて91.18%の正確性を達成し、最先端のPATCHY-SANニューラルネットワークと同等の性能を示した。
• CPDBデータセットでは、81.04%の正確性（標準偏差4.00%）を達成し、多数の最先端のグラフカーネルを上回り、Fold間での安定性も確認された。
• AIDSデータセットでは、84.16%の正確性（標準偏差2.31%）を達成し、優れた一般化性能と安定性を示した。
• 層の追加は一貫して性能向上をもたらし、性能の飽和に至るまで、ノードおよびエッジ間での構造的文脈の効果的伝播が可能であった。
• CPDBでは、データ分割のばらつきに起因して、10Fold中2Foldが著しく外れたが、平均正確性は高く、標準偏差が大きくなった。
• アブレーションスタディにより、深さが表現品質を向上させることを確認した。CGMMフィンガープリントを入力とした線形SVMは、層数の増加に伴い正確性が向上し、やがて飽和した。