[論文レビュー] Graph Mixture Density Networks

Federico Errica, Davide Bacciu+1 more|arXiv (Cornell University)|Dec 5, 2020

Bioinformatics and Genomic Networks参考文献 40被引用数 4

ひとこと要約

この論文では、グラフニューラルネットワークと混合密度ネットワークを組み合わせることで、任意のグラフ構造データ上での多次元条件付き出力分布をモデル化する新しい深層学習フレームワーク、Graph Mixture Density Networks (GMDN) を提案する。GMDN は、合成の疫学的シミュレーションベンチマークおよび実世界の分子性質予測タスクの両方で、尤度ベースの密度推定において最先端の性能を達成しており、出力の不確実性をよりよく捉えている点で、ベースラインを顕著に上回っている。

ABSTRACT

We introduce the Graph Mixture Density Networks, a new family of machine learning models that can fit multimodal output distributions conditioned on graphs of arbitrary topology. By combining ideas from mixture models and graph representation learning, we address a broader class of challenging conditional density estimation problems that rely on structured data. In this respect, we evaluate our method on a new benchmark application that leverages random graphs for stochastic epidemic simulations. We show a significant improvement in the likelihood of epidemic outcomes when taking into account both multimodality and structure. The empirical analysis is complemented by two real-world regression tasks showing the effectiveness of our approach in modeling the output prediction uncertainty. Graph Mixture Density Networks open appealing research opportunities in the study of structure-dependent phenomena that exhibit non-trivial conditional output distributions.

研究の動機と目的

• グラフ構造データにおける多次元条件付き出力分布をモデル化する課題に取り組むこと。標準の回帰モデルは単一モードの予測に限られるため、これには不適切である。
• 混合密度ネットワーク (MDNs) をグラフ上で動作可能にするように拡張し、複雑で構造依存的な現象の条件付き密度推定を可能にすること。
• 構造と多次元性が両方重要な、ランダムグラフ上の確率的疫学的シミュレーションを含む新しいベンチマークを用いてモデルを評価すること。
• 実世界の回帰タスク、特に分子グラフを含む予測において、予測の不確実性をよりよくモデル化できることを示すこと。
• GMDN が異なるグラフトポロジーやサイズ間で知識を転送できることを示し、未観測のグラフ構造への一般化性能を向上させること。

提案手法

• GMDN は、入力グラフから共通の潜在表現を生成するためのグラフニューラルネットワーク (GNN) エンコーダーを使用し、その出力を出力分布の混合をパrameter化するのに用いる。
• GNN の出力は、混合密度ヘッドに供給され、ターゲット変数のガウス成分の混合重み、平均、分散を予測する。
• モデルは最大尤度推定により訓練され、予測された混合分布下での真のターゲット値の対数尤度を最適化する。
• 混合密度ヘッドのおかげで、モデルは出力として完全な確率分布を出力でき、与えられた入力グラフに対して複数の妥当な結果を捉えることができる。
• このアーキテクチャは、ノードレベルおよびグラフレベルの出力分布をサポートしており、複雑な条件付き依存関係を持つ構造的データの柔軟なモデル化を可能にする。
• 転移学習は、あるグラフファミリー（例：Erdős–Rényi）で学習し、別の（例：Barabási–Albert）でテストすることで評価され、トポロジー間での一般化性能が測定される。

実験結果

リサーチクエスチョン

• RQ1 任意のグラフ構造に条件づけられた多次元出力分布を、深層学習モデルが効果的にモデル化できるか？
• RQ2 グラフ構造を組み込むことで、実世界の応用において複雑で非ガウス的な条件付き分布をどのように改善できるか？
• RQ3 GMDNフレームワークは、Erdős–Rényi から Barabási–Albert ネットワークへのトポロジーの変化に対しても一般化できるか？
• RQ4 標準の GNN や MDN よりも、GMDN は分子性質回帰における予測の不確実性をよりよく捉えられるか？
• RQ5 GMDN の尤度性能は、DGN や MDN といった強力なベースラインと比較して、合成的および実世界のグラフベンチマークの両方でどうなるか？

主な発見

• 疫学的シミュレーションベンチマークでは、GMDN はすべてのベースラインよりも顕著に高い対数尤度を達成した。RAND スコアベースラインは -27.12 であり、GMDN は alchemy_full データセットで -0.57 を達成した。
• ZINC_full データセットでは、GMDN は対数尤度 -0.75 を達成し、次善のモデル（DGN）の -0.90 を上回り、密度推定性能に優れていることが示された。
• alchemy_full データセットでは、GMDN は対数尤度 -0.57（標準偏差 1.4）を達成し、訓練実行間で一貫性があり、安定した性能を示した。
• 出力分布の可視化において、GMDN は双極子モーメント予測で明確に2つの異なるモードを捉えていたが、DGN はモードの間に単一のガウス分布に収束し、不確実性を正しく表現できていなかった。
• ER-100 グラフで学習したモデルは、BA-200 や BA-500 などのより大きなサイズや異なるグラフファミリーへの一般化性能が、BA-100 で学習したモデルよりも優れていた。これは、より難しいソースタスクが転移性を向上させることを示唆している。
• MAE スコアは各モデルで同等であったが、GMDN ははるかに高い対数尤度を達成しており、点推定性能は同等でも、不確実性をベースラインよりも正確にモデル化していることが確認された。