[論文レビュー] Factorised Neural Relational Inference for Multi-Interaction Systems

Ezra Webb, Ben Day+2 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 10被引用数 14

ひとこと要約

本稿では、異なる相互作用タイプごとに別々の層を備えた多重構造（multiplex）に潜在的相互作用グラフを因子化することで、元のNRIモデルを改善したFactorised Neural Relational Inference (fNRI)を提案する。これにより、モデルサイズの削減、方向付きフィードバックによる訓練安定性の向上、複数の物理的システムにおけるエッジおよび軌道予測で最先端の性能を達成し、元のNRIを上回る。また、優れた性能を発揮するにはVAEの定式化が必ずしも必要ではないことが示された。

ABSTRACT

Many complex natural and cultural phenomena are well modelled by systems of simple interactions between particles. A number of architectures have been developed to articulate this kind of structure, both implicitly and explicitly. We consider an unsupervised explicit model, the NRI model, and make a series of representational adaptations and physically motivated changes. Most notably we factorise the inferred latent interaction graph into a multiplex graph, allowing each layer to encode for a different interaction-type. This fNRI model is smaller in size and significantly outperforms the original in both edge and trajectory prediction, establishing a new state-of-the-art. We also present a simplified variant of our model, which demonstrates the NRI's formulation as a variational auto-encoder is not necessary for good performance, and make an adaptation to the NRI's training routine, significantly improving its ability to model complex physical dynamical systems.

研究の動機と目的

• 複数の相互作用タイプを有するシステムにおいて、元のNeural Relational Inference (NRI)モデルの表現力および訓練効率の低さを是正すること。
• 単一のグラフを用いて多様な相互作用システムをモデル化する際のエッジタイプの組み合わせの指数的増加を回避すること。
• 多重グラフ構造を用いて、各相互作用タイプごとにターゲットフィードバックを可能にすることで、訓練信号の質を向上させること。
• VAE定式化が強力な性能を発揮するために不可欠でないことを示すために、簡素化されたバージョン（sfNRI）を導入すること。
• エンコーディングとデコーディングフェーズを分離する訓練ルーチンを変更することで、複雑な物理的ダイナミクスをよりよく学習できるようにすること。

提案手法

• 潜在的相互作用グラフを、各相互作用タイプがグラフの別々の層に符号化される多重構造に因子化し、冗長性を低減するとともに解釈可能性を向上させる。
• メッセージパッシングを用いたグラフニューラルネットワーク（GNN）によりエッジ埋め込みを計算し、K個のエッジタイプに対するソフトマックスを用いてエッジタイプの事後分布を生成する。
• 各相互作用タイプごとに別個の神経ネットワーク $\tilde{f}^k_e$ と $\tilde{f}_v$ を用いて、デコーダーを別々のエッジから頂点へのメッセージパッシング関数に分解する。
• 最初の50ステップをエンコーディング、次の50ステップをデコーディングに使用する訓練ルーチンを変更し、より良い系列モデリングと一般化性能を実現する。
• VAE目的関数を削除し、直接的な交差エントロピーまたはバイナリ交差エントロピー損失を使用する簡素化されたfNRIバージョン（sfNRI）を導入し、生成的モデリングが強力な性能を発揮するために必須でないことを示す。
• 訓練中に微分可能なサンプリングを実現するため、温度制御付きコンcreteリラクゼーションを用い、$\tau = 0.5$ に設定し、L2正則化を適用して複雑なシステムにおける訓練を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 多重グラフ構造は、複数の相互作用タイプを有するシステムにおける関係的誘導バイアスの表現効率および訓練パフォーマンスを向上させることができるか？
• RQ2 相互作用タイプを別々の層に因子化することで、統合されたエッジタイプ表現に比べ、エッジおよび軌道予測がより良くなるか？
• RQ3 関係的推論における変分自己オートエンコーダ（VAE）目的関数は、優れたパフォーマンスを発揮するために不可欠であるか、それとも判別的訓練で十分か？
• RQ4 訓練フェーズにおけるエンコーディングとデコーディングの分離は、モデルが複雑な物理的ダイナミクスを推論する能力にどのように影響するか？
• RQ5 構造的なグラフ因子化による改善されたフィードバックメカニズムは、誤差伝搬を低減し、関係的誘導バイアスモデルの一般化性能を向上させるか？

主な発見

• fNRIモデルは、I+CおよびI+C+Fを含むすべてのテスト済みシステムでエッジ予測において最先端のパフォーマンスを達成し、元のNRIを顕著に上回った。
• fNRIはエッジタイプの因子化によりモデルサイズを削減した。エンコーダは710,660パラメータ、デコーダは406,020パラメータを有するが、元のNRIの711,688および678,404パラメータを上回るより複雑な相互作用をモデル化している。
• VAE目的関数を削除した簡素化されたfNRI（sfNRI）バージョンは、競争力のあるパフォーマンスを示し、VAE定式化が優れた性能を発揮するために必須でないことを実証した。
• エンコーディングとデコーディングに別々の50ステップを割り当てる訓練ルーチンの変更により、特にI+C+Fのような複雑なシステムにおいて、軌道予測が顕著に向上した。
• エッジ精度は各相互作用タイプごとに分解され、すべてのタイプが正しく予測される必要がある組み合わせ精度も一貫して向上し、多重構造がより正確かつ頑健な推論を可能にしていることが確認された。
• モデルの性能は、バッチ間でのラベル割り当てが一貫していることから、ラベルの順序の曖昧さに対して頑健であることが確認され、学習されたエッジタイプ割り当ての信頼性が裏付けられた。