[論文レビュー] Neural Relational Inference with Fast Modular Meta-learning

Ferran Alet, Erica Weng+2 more|arXiv (Cornell University)|Oct 10, 2023

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 25

ひとこと要約

この論文はニューラルリレーショナル推論をモジュール型メタ学習としてGNN上で再定義し、ノードモジュールとエッジモジュールのライブラリを学習し、提案 assisted searching BounceGrad を用いて関係構造を推定する。データ効率が高く、モデルベースの推論と unseen/潜在ノードの計画をスケーラブルに実現する。

ABSTRACT

extit{Graph neural networks} (GNNs) are effective models for many dynamical systems consisting of entities and relations. Although most GNN applications assume a single type of entity and relation, many situations involve multiple types of interactions. extit{Relational inference} is the problem of inferring these interactions and learning the dynamics from observational data. We frame relational inference as a extit{modular meta-learning} problem, where neural modules are trained to be composed in different ways to solve many tasks. This meta-learning framework allows us to implicitly encode time invariance and infer relations in context of one another rather than independently, which increases inference capacity. Framing inference as the inner-loop optimization of meta-learning leads to a model-based approach that is more data-efficient and capable of estimating the state of entities that we do not observe directly, but whose existence can be inferred from their effect on observed entities. To address the large search space of graph neural network compositions, we meta-learn a extit{proposal function} that speeds up the inner-loop simulated annealing search within the modular meta-learning algorithm, providing two orders of magnitude increase in the size of problems that can be addressed.

研究の動機と目的

• Observationalからの多関係システムの関係構造と動力学をモジュール型メタ学習で推定する。
• ノードとエッジの神経モジュールのライブラリを学習し、様々な相互作用タイプをモデル化するために組み合わせ可能にする。
• relational inference をモデルベースのアプローチとして扱い、データ効率を高め、潜在/未観測エンティティの推定を可能にする。
• 学習済み提案関数を用いてGNN構造の組み合わせ探索を高速化し、より大規模な問題へ適用可能にする。

提案手法

• ノードモジュールm_iとエッジモジュールh_jを用いて、関係推論をモジュラー型メタ学習としてフレーミングする。
• BounceGrad: モジュラー構造上のシミュレーテッドアニーリングと勾配降下を交互に行い、モジュール重みを最適化する。
• 多数のタスク間でモジュールの重みをメタ訓練で学習し、新しいタスクで最適な構造Sを推定してメタテストする。
• inner-loop の構造探索を加速する提案関数をメタ学習で学習し、トレーニングバッチのSAの成果を用いて訓練する。
• パラメータコストを一定に保ちつつ、タスクを超えるスーパ-グラフを作成してバッチ訓練を行い並列性を活用する。
• inner loop 内で潜在状態を最適化することにより未観測エンティティを推定してモデルベースの推論を活用する。

Figure 1: Modular meta-learning with graph networks; adapted from Alet et al. ( 2018 ) . The system meta-learns a library of node and edge modules, represented as small neural networks; at performance (meta-test) time, it is only necessary to infer the combination of modules that best predict the ob

実験結果

リサーチクエスチョン

• RQ1 モジュール型メタ学習と神経モジュールライブラリは、trajectoryデータからの関係構造推定で variational NRI に匹敵するか、あるいはそれを上回るか。
• RQ2 エッジタイプの結合的な構造レベル最適化は、独立したエッジ予測と比較して関係推論を改善するか。
• RQ3 学習済み提案関数は inner-loop の探索を劇的に高速化し、より大規模なタスク分布とモジュラー構成へスケールできるか。
• RQ4 inner-loop 最適化に統合して潜在/未観測エンティティとその関係を推定することは可能か。

主な発見

Model	Springs (1 step)	Springs (10 steps)	Charged (1 step)	Charged (10 steps)
静的	7.93e-05	7.59e-03	5.09e-03	2.26e-02
LSTM(single)	2.27e-06	4.69e-04	2.71e-03	7.05e-03
LSTM(joint)	4.13e-08	2.19e-05	1.68e-03	6.45e-03
NRI (full graph)	1.66e-05	1.64e-03	1.09e-03	3.78e-03
(Kipf et al., 2018)	3.12e-08	3.29e-06	1.05e-03	3.21e-03
Modular meta-l.	3.13e-08	3.25e-06	1.03e-03	3.11e-03
NRI (true graph)	1.69e-11	1.32e-09	1.04e-03	3.03e-03

• モジュール型メタ学習は、エッジモジュールを共同推定することで Springs と Charged-particles データセットにおいてベースラインと同等かそれ以上の軌道予測性能を達成する。
• エッジタイプ予測精度はほぼゴールド性能に達し、モジュール型メタ学習は両データセットで先行手法と同等またはそれを上回る。
• モデルベースのアプローチはデータ効率性が高く、特にデータが少ない領域で変分法より優れている。
• 学習済み提案関数は inner-loop 探索を数桁速くし、より大きなモジュラ空間とメタデータセット（最大 50,000 タスク）を可能にする。
• フレームワークは inner-loop 内で trajectories を最適化して潜在/未観測ノードを推定することを許容し、予測精度を改善する。
• タスク間でバッチ処理しスーパ-グラフへ計算をマッピングすると、訓練と評価の速度が大幅に向上する。

Figure 2: Task setup, taken from Kipf et al. ( 2018 ) : we want to predict the evolution of a dynamical system by inferring the set of relations between the entities, such as attraction and repulsion between charged particles.