[論文レビュー] Designing Random Graph Models Using Variational Autoencoders With Applications to Chemical Design.

Bidisha Samanta, Abir De+2 more|arXiv (Cornell University)|Feb 14, 2018

Machine Learning in Materials Science参考文献 29被引用数 34

ひとこと要約

本稿では、非ユークリッド構造、ノードの順列不変性、可変なグラフサイズに対処するための、特殊なエンコーダおよびデコーダアーキテクチャを備えたグラフ用変分オートエンコーダを提案する。この手法により、所望の局所的構造的および機能的性質を持つグラフの生成が可能となり、分子設計において最先端の手法を上回り、既知のランダムグラフモデルを正確に再現する。

ABSTRACT

Deep generative models have been praised for their ability to learn smooth latent representation of images, text, and audio, which can then be used to generate new, plausible data. However, current generative models are unable to work with graphs due to their unique characteristics--their underlying structure is not Euclidean or grid-like, they remain isomorphic under permutation of the nodes labels, and they come with a different number of nodes and edges. In this paper, we propose a variational autoencoder for graphs, whose encoder and decoder are specially designed to account for the above properties by means of several technical innovations. Moreover, the decoder is able to guarantee a set of local structural and functional properties in the generated graphs. Experiments reveal that our model is able to learn and mimic the generative process of several well-known random graph models and can be used to create new molecules more effectively than several state of the art methods.

研究の動機と目的

• グラフの非ユークリッド的性質、順列不変性、可変なサイズのため、深層生成モデルが抱える制限に対処すること。
• グラフの不変性を保持し、柔軟なグラフ生成を可能にするエンコーダおよびデコーダの設計。
• 生成されたグラフが特定の局所的構造的および機能的性質を満たすことを保証すること。
• 確立されたランダムグラフモデルの生成プロセスを学習し、再現すること。
• 最先端の手法と比較して、分子生成のパフォーマンスを向上させること。

提案手法

• エンコーダは、ノードラベルの順列不変性を保つための順列等変性メッセージパッシングを備えたグラフニューラルネットワークを用い、潜在表現を生成する。
• デコーダは微分可能で自己回帰的な生成プロセスを採用し、構造的一致性を保ちながらノード単位でグラフを構築する。
• 潜在空間の最適化を可能にするため、変分推論の目的関数をモデルに組み込む。これにより滑らかな補間と生成が可能になる。
• 生成されたグラフに所望の局所的性質（例：次数分布、連結性）を保証するため、構造的制約の集合をデコーダに埋め込む。
• 再パラメータ化トリックを用いて、確率的サンプリングの逆誤差伝搬を可能にするため、モデルはエンドツーエンドで訓練される。
• モデルは、合成されたランダムグラフモデルと実世界の分子データセットの両方で評価される。

実験結果

リサーチクエスチョン

• RQ1 変分オートエンコーダは、複雑な非ユークリッド的構造を有するグラフを、順列不変性を尊重しながら効果的に学習・生成できるか？
• RQ2 本モデルは、Erdős–Rényi や Barabási–Albert のような有名なランダムグラフモデルの生成プロセスをどの程度正確に模倣できるか？
• RQ3 本モデルは、既存の最先端手法と比較して、所望の構造的および機能的性質を持つ分子をより効果的に生成できるか？
• RQ4 学習された潜在空間は、意味的で新しい有効なグラフの補間と生成をどの程度効果的に行えるか？

主な発見

• 本モデルは、Erdős–Rényi や Barabási–Albert ネットワークを含む、複数のベンチマーク用ランダムグラフモデルの生成プロセスを効果的に学習・再現した。
• デコーダが局所的構造的性質を強制できる能力のおかげで、ベースライン手法と比較して、生成されたグラフの妥当性と品質が向上した。
• 分子生成ベンチマークにおいて、本モデルは生成された分子の妥当性と新規性の両面で、既存の最先端手法を上回った。
• 学習された潜在空間により、グラフ間の滑らかな補間が可能であり、分子構造の連続的かつ意味的な表現であることが示唆された。
• 本モデルは、サイズやエッジ数が異なるグラフに対しても良好に一般化でき、構造的多様性に対して高い耐性を示した。
• 所望の化学的性質を持つ分子の生成において、競争力のあるパフォーマンスを達成しており、ドラッグディスカバリーアプリケーションへの強い可能性を示している。