[論文レビュー] Permutation-equivariant neural networks applied to dynamics prediction

Nicholas Guttenberg, Nathaniel Virgo+3 more|arXiv (Cornell University)|Dec 14, 2016

Neural Networks and Applications被引用数 48

ひとこと要約

この論文は、すべての物体間のペアワイズ組み合わせに共通の学習可能な関数を適用し、その後最大プーリングを施して同値性を保証する、置換に不変なニューラルネットワークアーキテクチャを導入している。この手法は、2次元の硬い円盤の軌道予測において高い精度を達成し、物体のサイズが異なる場合でも、追加の物体ラベルを組み込むことで、未学習の粒子数に対しても一般化可能である。

ABSTRACT

The introduction of convolutional layers greatly advanced the performance of neural networks on image tasks due to innately capturing a way of encoding and learning translation-invariant operations, matching one of the underlying symmetries of the image domain. In comparison, there are a number of problems in which there are a number of different inputs which are all 'of the same type' --- multiple particles, multiple agents, multiple stock prices, etc. The corresponding symmetry to this is permutation symmetry, in that the algorithm should not depend on the specific ordering of the input data. We discuss a permutation-invariant neural network layer in analogy to convolutional layers, and show the ability of this architecture to learn to predict the motion of a variable number of interacting hard discs in 2D. In the same way that convolutional layers can generalize to different image sizes, the permutation layer we describe generalizes to different numbers of objects.

研究の動機と目的

• 入力オブジェクトの置換に対して不変であるニューラルネットワークアーキテクチャを開発し、異なる数の粒子にわたる一般化を可能にする。
• 標準的なニューラルネットワークが対称的システムを学習する際に非効率であるのを是正するため、置換不変性をネットワーク構造に直接埋め込む。
• 入力順序が規範的でない状況でも、2次元の硬い円盤系における衝突を含む複雑な相互作用粒子ダイナミクスを正確に予測可能にする。
• 補助特徴（例：ランダムまたは物理的ラベル）が、置換不変フレームワーク内での非同一オブジェクトのモデリング能力を回復できるかを調査する。

提案手法

• 各オブジェクトの出力を、自身の特徴と他のすべてのオブジェクトの特徴に共通の学習可能な関数を適用し、すべてのペアの和を取ることで計算する置換処理レイヤーを設計する。
• すべてのオブジェクトインデックスに対して最大プーリングを用いて置換不変性を強制し、入力の置換に伴い出力が一貫して変化することを保証する。
• 粒子間の複雑な非線形相互作用ポテンシャルをモデル化するため、ペアワイズ相互作用レイヤー内に深層ニューラルネットワークを埋め込む。
• 非同一の粒子（例：異なる半径）を区別できるように、補助の2次元ランダムベクトルラベルを導入するが、全体のアーキテクチャにおける置換不変性を維持する。
• 異なる数の粒子とオブジェクトタイプを有する相互作用する硬い円盤の軌道を学習データとして用い、平均二乗誤差を損失関数とする。
• 未知の粒子数や非一様な粒子サイズを有する系でのテストを通じて、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 置換不変なニューラルネットワークアーキテクチャは、衝突する硬い円盤のような2次元の相互作用粒子ダイナミクスの将来の挙動を正確に予測できるか？
• RQ2 提案されたアーキテクチャは、学習時に見られなかった異なる数の粒子に一般化できるか？
• RQ3 標準的な置換不変ネットワークが失敗する非同一粒子（例：異なる半径）を有する系では、ネットワークのモデリング性能はどの程度高いか？
• RQ4 補助オブジェクト特徴が、置換不変性と一般化を維持したまま、非同一粒子のモデリング能力を回復できるか？

主な発見

• 提案された置換不変アーキテクチャは、8つの小さな円盤と4つの大きな円盤を有する系で、平均二乗誤差（MSE）が0.022に達し、同一の円盤を有する系と同等の性能を示した。
• 補助ラベルなしのベースネットワークは、非一様系でMSEが0.041に達し、オブジェクトタイプを区別できないため、顕著な性能低下が生じた。
• 2次元ランダム補助ラベルの導入により、非一様系での性能が同一系と同等の水準まで向上し、置換不変でない情報の効果的回復が示された。
• 学習データセットにおける粒子数が固定されていたとしても、推論時に異なる数の粒子に一般化可能であることが確認された。
• ペアワイズ相互作用レイヤー内に埋め込まれた深層ニューラルネットワークにより、複雑な非線形相互作用ポテンシャルを効果的にモデル化できた。
• 補助ラベルにそのような潜在特徴（例：半径）が符号化されていれば、新しいオブジェクトタイプに対しても一般化が可能であることがフレームワークによって可能になった。