[論文レビュー] Graph Residual Flow for Molecular Graph Generation

Shion Honda, Hirotaka Akita+3 more|arXiv (Cornell University)|Sep 30, 2019

Machine Learning in Materials Science参考文献 30被引用数 31

ひとこと要約

本稿では、分子グラフ生成のための新しい可逆フロー・モデルであるグラフリーマンフロー（GRF）を提案する。GRFは、グラフ畳み込みネットワーク（GCN）を用いたリーマンフローを組み合わせることで、ノード特徴量の分割を必要とせず、完全な可逆性を実現する。GRFは、GraphNVPと同等の生成性能を達成しながら、トレーニング可能なパラメータ数を著しく削減し、大規模な分子グラフにおいて効率的でメモリ軽量なトレーニングとワンショット生成を可能にする。

ABSTRACT

Statistical generative models for molecular graphs attract attention from many researchers from the fields of bio- and chemo-informatics. Among these models, invertible flow-based approaches are not fully explored yet. In this paper, we propose a powerful invertible flow for molecular graphs, called graph residual flow (GRF). The GRF is based on residual flows, which are known for more flexible and complex non-linear mappings than traditional coupling flows. We theoretically derive non-trivial conditions such that GRF is invertible, and present a way of keeping the entire flows invertible throughout the training and sampling. Experimental results show that a generative model based on the proposed GRF achieves comparable generation performance, with much smaller number of trainable parameters compared to the existing flow-based model.

研究の動機と目的

• 既存のフローベースのモデル、特に特徴量の制限的な分割を要する結合フローが抱える非効率性と表現力の限界を解消すること。
• すべてのノード特徴量を同時に複雑で非線形な変換が可能な、可逆性を維持するフローベースの生成モデルを構築すること。
• 特に大規模な分子グラフにおいて、GraphNVPのような従来の可逆モデルに比べ、モデルパラメータ数とメモリ使用量を削減すること。
• 効率的なワンショット生成と特性指向の分子設計を可能にする、滑らかで一対一対応の潜在空間を確保すること。

提案手法

• GRFは、リーマンフローとグラフ畳み込みネットワーク（GCN）を組み合わせ、潜在表現の不連続な分割を必要とせず、各レイヤーですべてのノード特徴量を更新可能にする。
• 各リーマンブロックにスペクトル正規化を適用することで、可逆性を保証し、ヤコビアン行列式が有界かつ変換が一対一対応になるようにする。
• 隣接行列変換に低ランク近似を適用することで、パラメータ数を削減しながらも表現力を維持する。
• 全フローは正規化フローの目的関数に従い、変数変換の公式を用いて正確な尤度計算が可能となるように、エンドツーエンドで訓練される。
• 推論とサンプリングは逆写像を用いて実行され、潜在コードから有効な分子グラフをワンショットで生成可能になる。
• 本手法は標準的なGCNと互換性があり、統一されたフレームワーク内で原子種類および結合種別の特徴量を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 リーマンフローのアーキテクチャを、分子グラフのようなグラフ構造データに適応可能か？ また、可逆性を維持できるか？
• RQ2 特徴量の分割を一切行わずに、すべてのノード特徴量を同時に更新するフローベースのモデルで、可逆性をどのように保証できるか？
• RQ3 GraphNVPのような既存のモデルに比べ、顕著に少ないパラメータ数で、分子グラフ用のフローベースモデルが競争力のある生成性能を達成できるか？
• RQ4 提案モデルが学習した潜在空間は、滑らかで連続的な補間と、化学的に有効な分子のワンショット生成を可能にするか？

主な発見

• GRFは、QM9およびZINC-250kデータセットの両方で、GraphNVPと同等の生成性能を達成し、モデルサイズが著しく小さい。
• GRFモデルは、パラメータ数が O(LR²(N²r + M²)) に抑えられ、r が低ランク近似のランクである。これは、GraphNVPの O(LN²R²(N² + M²)) のパラメータ数に比べ、はるかにメモリ効率的である。
• 100原子の分子でバッチサイズ64の場合、GRFは約21 GBのメモリを消費する（r=100）。一方、GraphNVPは約2100 GBを要し、標準的なハードウェア上では実行不可能である。
• 学習された潜在空間は滑らかで一対一対応であり、ワンショット生成と潜在空間の摂動による効果的な分子特性探索を可能にする。
• 正確な可逆性のおかげで、VAEベースのモデルが複数回のデコードを要するのに対し、GRFは100％の再構成精度を達成する。
• 可視化結果から、潜在空間の軸に沿った分子変換が徐々で連続的であることが示され、意味的で解釈可能な潜在表現であることが裏付けられる。