[論文レビュー] R-SQAIR: Relational Sequential Attend, Infer, Repeat

Aleksandar Stanić, Jürgen Schmidhuber|arXiv (Cornell University)|Oct 11, 2019

Bayesian Modeling and Causal Inference参考文献 33被引用数 18

ひとこと要約

R-SQAIRは、相互作用ネットワーク（IN）または関係記憶コア（RMC）を用いた並列的な関係的インダクティブバイアスをSQAIRモデルに拡張し、動画内の対象同士の相互作用を明示的かつ組み合わせ的に一般化可能な形でモデル化することを可能にした。その結果、尤度と関係的一般化の両面で顕著な向上が得られ、特に学習時に見られなかった対象数よりも多い対象数を含むシーンにおいて顕著な効果を示した。

ABSTRACT

Traditional sequential multi-object attention models rely on a recurrent mechanism to infer object relations. We propose a relational extension (R-SQAIR) of one such attention model (SQAIR) by endowing it with a module with strong relational inductive bias that computes in parallel pairwise interactions between inferred objects. Two recently proposed relational modules are studied on tasks of unsupervised learning from videos. We demonstrate gains over sequential relational mechanisms, also in terms of combinatorial generalization.

研究の動機と目的

• 非教師付き動画理解のための順序付きアテンションモデルにおける関係的推論の向上を目的とする。
• RNNベースの順序付き関係的メカニズムが、対象の相互作用を効率的かつ組み合わせ的にモデル化する点で限界を示しているのを是正することを目的とする。
• 学習時に見られなかった対象数よりも多い対象数を含むシーンへの一般化を可能にすることを目的とする。
• 時間的一致性を損なわず、順序付きアテンションフレームワークに強力な関係的インダクティブバイアスを統合することを目的とする。

提案手法

• R-SQAIRは、SQAIRに並列的関係モジュール（相互作用ネットワーク（IN）または関係記憶コア（RMC））を追加し、同時にすべての対象ペア間の相互作用を計算する。
• 関係モジュールは、SQAIRの順次的RNNベースの関係メカニズムに代わり、すべての対象ペア間の影響を並列に計算する。
• INモジュールはアテンション係数を用いて相互作用効果の重み付き和を計算するが、RMCはメモリスロット上のマルチヘッド自己アテンションを用いて対象の動的変化をモデル化する。
• モデルは構造的VAEフレームワークを用いたアモアライズド変分推論を採用し、元のSQAIRアーキテクチャを維持して対象の発見と伝搬を実現する。
• 関係的尤度は、衝突する対象ペアのみに計算され、関係的推論性能の的確な評価を可能にする。
• ハイパーパramータは視覚的複雑度が低い状況を想定して調整された：z_whatの潜在次元は5、INの潜在次元は5、RMCの自己アテンションは10次元の4ヘッド。

実験結果

リサーチクエスチョン

• RQ1 並列的関係モジュールは、動画用の順序付きアテンションモデルにおける関係的推論を向上させることができるか？
• RQ2 強力な関係的インダクティブバイアスの統合は、未学習の対象数への組み合わせ的一般化を向上させるか？
• RQ3 R-SQAIRは、分布外のテストセットにおいてSQAIRと比較して尤度と関係的尤度の両面で優れているか？
• RQ4 再トレーニングなしに、学習データに含まれなかった対象数よりも多いシーンへの一般化が可能か？

主な発見

• INを用いたR-SQAIRは、4ボール動画においてテスト尤度429.2、関係的尤度1.95を達成し、SQAIRの399.5と0.21を上回った。
• RMCを用いたR-SQAIRは、4ボール動画において尤度457.32、関係的尤度3.62を達成し、SQAIRを著しく上回った。
• 6〜8ボールのテストセットでは、R-SQAIR(IN)の関係的尤度は-96.7であったのに対し、SQAIRは-164.1であった。これは、より多くの対象数に対しても強い一般化能力を示している。
• 6〜8ボールのテストセットにおけるR-SQAIRとSQAIRの関係的尤度の差は、R-SQAIRがより強固で一般化可能な伝搬事前分布を学習していることを示唆している。
• パrameter数をわずか9,389（IN）または98,880（RMC）増加しただけで顕著な性能向上が得られたことから、性能向上は主にパラメータ数の増加ではなく、より優れたインダクティブバイアスに起因していることが示された。
• 定性的な結果では、R-SQAIRが早期に対象表現を分離・精錬し、未学習の対象数に対しても一般化可能であり、フレーム間で一貫した対象追跡が可能であることが確認された。