[論文レビュー] Permutation-Invariant Variational Autoencoder for Graph-Level Representation Learning

Robin Winter, Frank Noé+1 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Graph Neural Networks被引用数 10

ひとこと要約

本稿では、入力グラフと再構築グラフ間のノード順序を微分可能で最適化可能な順序付けネットワークを用いて一致させる、グラフレベル表現学習のための順序不変変分オートエンコーダを提案する。この手法により、固定されたノード順序を必要とせず、グラフオートエンコーダのエンドツーエンド学習が可能となる。本手法は、グラフ再構築、生成、および下流の分子性質予測タスクにおいて最先端の性能を達成する。

ABSTRACT

Recently, there has been great success in applying deep neural networks on graph structured data. Most work, however, focuses on either node- or graph-level supervised learning, such as node, link or graph classification or node-level unsupervised learning (e.g. node clustering). Despite its wide range of possible applications, graph-level unsupervised learning has not received much attention yet. This might be mainly attributed to the high representation complexity of graphs, which can be represented by n! equivalent adjacency matrices, where n is the number of nodes. In this work we address this issue by proposing a permutation-invariant variational autoencoder for graph structured data. Our proposed model indirectly learns to match the node ordering of input and output graph, without imposing a particular node ordering or performing expensive graph matching. We demonstrate the effectiveness of our proposed model on various graph reconstruction and generation tasks and evaluate the expressive power of extracted representations for downstream graph-level classification and regression.

研究の動機と目的

• ドラッグ発見や分子モデリングにおいて広く応用可能であるものの、依然として未開拓とされるグラフレベルの教師なし表現学習の課題に取り組む。
• 標準的なニューラルネットワークが入力表現の順序に敏感であるため、ノード順序の変更に対して不変でないグラフ同型性の根本的問題を克服する。
• ノード順序の曖昧さにもかかわらず、標準的な再構築損失を用いたグラフオートエンコーダの学習を可能にする微分可能フレームワークを開発する。
• 分子グラフのための連続的かつ順序不変な潜在空間を学習することで、効果的なグラフ生成と補間を実現する。
• 特に分子性質予測において、学習された表現が下流のグラフレベル分類および回帰タスクにどのように有効に応用できるかを示す。

提案手法

• 入力と出力のノード順序の最適な一致を予測する学習可能な順序付けネットワークを導入することで、ノード順序の変更に対して不変なグラフオートエンコーダアーキテクチャを提案する。
• 再パラメータライゼーションテクニックを用いた変分オートエンコーダフレームワークを採用し、エンコーダ、順序付けネットワーク、デコーダのエンドツーエンド学習を可能にする。
• 入力グラフのノード順序と再構築グラフのノード順序を一致させるための置換行列を順序付けネットワークが予測するように学習させ、一貫した再構築損失の計算を可能にする。
• 計算複雑性を低減するため、各ノードが入力メッセージのみに注目する方向付きメッセージパッシング機構をエンコーダおよびデコーダに適用する。
• 隣接ノード情報に基づいてノード表現を更新するため、多層パーセプトロンを用いたノードレベルのメッセージパッシング機構を採用する。
• 最終的なノード埋め込みから固定サイズのグラフレベル表現を生成するため、グローバルプーリング層を適用し、下流の分類および回帰タスクを可能にする。

実験結果

リサーチクエスチョン

• RQ1 対称的集約や対照的学習に依存せずに、深層学習モデルが順序不変なグラフレベル表現を学習できるか？
• RQ2 ノード順序が任意かつ曖昧であるため、再構築目的関数がノード順序に依存する場合、どのように効果的にグラフオートエンコーダを学習できるか？
• RQ3 学習された潜在空間が、構造的および特徴的整合性を保ちつつ、意味的なグラフ生成と補間をどの程度可能にするか？
• RQ4 学習された表現が、分子性質分類や回帰などの下流のグラフレベル予測タスクにどの程度一般化可能か？
• RQ5 本モデルは、原子種別、形式的酸化状態、結合種別、3次元座標を含む、分子グラフを高い正確性で再構築できるか？

主な発見

• 形式的酸化状態の予測で99.99%の正確度、結合種別の予測（結合の非存在も含む）で99.25%、原子種別の予測で99.99%の正確度を達成した。
• 原子間距離の再構築において、平均二乗誤差は0.33 Å、決定係数（R²）は0.94であった。
• 下流の分子性質予測タスクにおいて、ECFPフィンガープrintよりも優れた性能を示した。BACE（AUC: 0.81 vs. 0.78）、ESOL（MSE: 0.10 vs. 0.25）、LIPO（MSE: 0.34 vs. 0.39）の3つのタスクで優位であった。
• 潜在空間からのサンプリングにより、エネルギー的に妥当な分子コンformationを効果的に生成でき、視覚的検証により回転可能な結合の回転などの妥当な構造的変化が確認された。
• 提案手法により、潜在空間における効果的なグラフ補間が可能となり、構造的に妥当な中間的分子形態が生成された。
• 6700万化合物を含むPubChemの大規模分子データセットにおいても、グラフ再構築および表現学習の面で競争力のある性能を示した。