[論文レビュー] The general theory of permutation equivarant neural networks and higher order graph variational encoders

Erik H. Thiede, Truong Son Hy+1 more|arXiv (Cornell University)|Apr 8, 2020

Advanced Graph Neural Networks参考文献 39被引用数 4

ひとこと要約

本稿は、高次相互作用を扱うための一般化された置換同変ニューラルネットワークの理論を構築し、行列の行と列を同時に置換する第二階層の同変層を導入する。これはグラフ学習や関係学習において極めて重要である。著者らは、ZINC分子生成ベンチマークで98.4％の再構成精度を達成する第二階層のグラフ変分オートエノード（VAE）を提案し、化学的事前知識を明示的に持たない手法を上回る性能を示した。また、このようなモデルにおける潜在分布が交換可能（exchangeable）でなければならないことを実証した。

ABSTRACT

Previous work on symmetric group equivariant neural networks generally only considered the case where the group acts by permuting the elements of a single vector. In this paper we derive formulae for general permutation equivariant layers, including the case where the layer acts on matrices by permuting their rows and columns simultaneously. This case arises naturally in graph learning and relation learning applications. As a specific case of higher order permutation equivariant networks, we present a second order graph variational encoder, and show that the latent distribution of equivariant generative models must be exchangeable. We demonstrate the efficacy of this architecture on the tasks of link prediction in citation graphs and molecular graph generation.

研究の動機と目的

• ベクトル要素の置換（第一階層作用）にとどまらず、行列の行と列を同時に置換するような高次作用（第二階層作用）への置換同変ニューラルネットワーク理論の拡張を目的とする。
• 特にグラフ表現学習に現れる第二階層作用に起因する高次同変層の構造とパrameter化を形式化すること。
• 隣接行列の置換対称性を尊重する第二階層のグラフ変分オートエノード（VAE）を構築し、有効な分子グラフを生成すること。
• 置換同変生成モデルとベイズ非パラメトリック統計における交換可能分布との関係を調査すること。
• リンク予測および分子グラフ生成タスクにおけるアーキテクチャの実証的妥当性を検証し、化学的知識を明示的に含まないにもかかわらず性能向上を示すこと。

提案手法

• 任意の対称群作用下でのテンソルに作用する置換同変線形層の一般式を導出。これには、行列に対する第二階層作用も含む。
• 対称群の表現論を用いて同変層を分類し、各層における学習可能パラメータ数を特定する。
• エンコーダとデコーダが隣接行列の行と列の同時置換に対して同変である第二階層のグラフ変分オートエノードを構築する。
• 潜在空間を交換可能（i.i.d. である必要はない）に保つ変分推論フレームワークを用い、生成プロセスにおける対称性を保証する。
• 離散的結合特徴の連続的リラクゼーションを採用し、潜在空間からの分子の微分可能生成を可能にする。
• VAEの目的関数に基づいてモデルを学習し、KLダイバージェンス項を無効化した際のアブレーション実験により、性能向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 置換同変ニューラルネットワークを第一階層作用（ベクトル要素の置換）を超えて、行列の行と列を同時に置換するような高次作用へ一般化する方法は何か？
• RQ2 第二階層の対称群作用下における同変層の数学的構造は何か？また、それらの層に含まれる学習可能パラメータ数はどの程度か？
• RQ3 第二階層の置換同変グラフ変分オートエノードは、化学的事前知識やルールベースの制約を明示的に持たない状況でも、有効な分子グラフを生成できるか？
• RQ4 置換同変性が生成モデルの潜在分布に課す制約は何か？また、これと交換可能性（exchangeability）とはどのように関係するか？
• RQ5 高次同変性は、リンク予測や分子生成といったグラフ表現学習タスクにおいて、性能向上をもたらすか？

主な発見

• 提案された第二階層のグラフ変分オートエノードは、ZINC分子生成ベンチマークで98.4％の再構成精度を達成し、CVAE（44.6％）やGVAE（53.7％）といった手法を著しく上回った。
• Valencyルールや機能的基団の制約といった明示的な化学的知識を欠いているにもかかわらず、事前分布からの生成で33.4％の有効な分子を生成し、SD-VAE（43.5％）やGraphVAE（13.5％）を上回った。
• モデルは妥当な炭素骨格と結合パターンを持つ分子を生成するが、小分子や歪みの大きい環系（例えば4員環）に偏りが見られた。
• VAE損失関数のKLダイバージェンス項を無効化したところ再構成精度が向上した。これは、事後分布崩壊の正則化を除いたことで、モデルのインダクティブバイアスがより良く保持された可能性を示唆している。
• モデルの潜在空間は交換可能であることが確認され、理論的に置換同変生成モデルとベイズ非パラメトリック統計における交換可能系列との関係が裏付けられた。
• 結果から、高次同変性により、化学的規則を明示的に導入しなくても、環形成のような複雑な構造的パターンをデータから直接学習可能であることが示された。