[論文レビュー] GraphOpt: Learning Optimization Models of Graph Formation

Rakshit Trivedi, Jiachen Yang+1 more|arXiv (Cornell University)|Jul 7, 2020

Graph Theory and Algorithms被引用数 7

ひとこと要約

GraphOptは、逆強化学習を用いて観測されたグラフ構造を説明する潜在的最適化目的を発見するとともに、グラフ構築のための確率的方策を同時に学習するエンドツーエンドフレームワークを提案する。実世界のネットワークと類似した構造的性質を持つグラフの生成において最先端の性能を達成し、リンク予測の明示的教師あり学習が不要な状態で、転送可能で説明可能なグラフ合成を可能にする。

ABSTRACT

Formation mechanisms are fundamental to the study of complex networks, but learning them from observations is challenging. In real-world domains, one often has access only to the final constructed graph, instead of the full construction process, and observed graphs exhibit complex structural properties. In this work, we propose GraphOpt, an end-to-end framework that jointly learns an implicit model of graph structure formation and discovers an underlying optimization mechanism in the form of a latent objective function. The learned objective can serve as an explanation for the observed graph properties, thereby lending itself to transfer across different graphs within a domain. GraphOpt poses link formation in graphs as a sequential decision-making process and solves it using maximum entropy inverse reinforcement learning algorithm. Further, it employs a novel continuous latent action space that aids scalability. Empirically, we demonstrate that GraphOpt discovers a latent objective transferable across graphs with different characteristics. GraphOpt also learns a robust stochastic policy that achieves competitive link prediction performance without being explicitly trained on this task and further enables construction of graphs with properties similar to those of the observed graph.

研究の動機と目的

• 最終的なグラフしか観測できないが、構築プロセスが不明な状況において、グラフ形成メカニズムを学習する課題に対処すること。
• 観測されたグラフの性質を説明する潜在的目的関数を発見し、転送可能で解釈可能なグラフ構築を可能にすること。
• スケーラビリティを考慮し、連続的で潜在的な行動空間を持つ強化学習を用いて、グラフ形成を段階的意思決定プロセスとしてモデル化すること。
• これらのタスクに明示的な学習を施さずに、ロバストで一般化可能なグラフ生成およびリンク予測を可能にすること。
• 従来の確率的または判別的グラフ生成モデルの代替として、転送可能で最適化に基づく代替手法を提供すること。

提案手法

• GraphOptは、構造的方策ネットワークを用いて、エッジを1つずつ追加する段階的意思決定プロセスとしてグラフ構築を定式化する。
• 現在の部分的に構築されたグラフの状態を、連続的かつ低次元の表現に変換するため、グラフニューラルネットワーク（GNN）を採用する。
• グラフサイズに依存しない、新たな連続的潜在行動空間を導入し、大規模グラフにおける効率的な学習を可能にする。
• 最大エントロピー逆強化学習（IRL）を用いて、観測されたグラフ構造を説明する潜在的報酬関数を推定するように方策を学習する。
• 学習された潜在的目的関数は、真の下流プロセスと同一でなくても、グラフ形成メカニズムの実用的説明として機能する。
• 方策と潜在的目的関数を同時に最適化することで、観測されたグラフと類似した性質を持つ新しいグラフの生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 最終構造しか観測できない状況で、実世界のグラフの形成を説明する潜在的最適化目的関数を発見できるか？
• RQ2 この目的関数に基づく学習済み方策は、異なる構造的特徴を持つグラフ間で一般化できるか？
• RQ3 連続的潜在行動空間の使用により、大規模グラフにおけるスケーラブルな学習が可能になり、構造的忠実度が保持されるか？
• RQ4 明示的にリンク予測のタスクに学習を施さない状態でも、学習済み方策は競争力のある性能を達成できるか？
• RQ5 学習された目的関数と方策は、観測されたグラフと類似した性質を持つ新しいグラフの生成にどの程度転送可能か？

主な発見

• GraphOptは、多様な実世界および合成グラフにおいて、次数分布やクラスタ係数分布といった重要なグラフ性質の再現において、強力なベースラインと比較して顕著に優れた性能を示す。
• Max Degree や Clustering Coefficient といった複数の指標において、BTER や DC-SBM、NetGAN といったベースラインを常に上回り、複数の指標で最小のパcent誤差を達成する。
• 確率的方策のおかげで、観測されたグラフのコピーに限定されず、多様で同一でないグラフを生成する。構造的パターンは保持される。
• 学習された潜在的目的関数は、異なる特性を持つグラフ間で転送可能であり、個々のインスタンスを越えた一般化を示している。
• リンク予測タスクに明示的な学習を施さない状態でも、競争力のある性能を達成しており、学習済み表現が意味のある構造的インダクティブバイアスを捉えていることが示唆される。
• GraphOptは、実世界のネットワークにしばしば見られる非連結成分を有するグラフを正常に構築できており、一部の先行手法が無視する性質を捉えている。