[論文レビュー] Attend, Infer, Repeat: Fast Scene Understanding with Generative Models

S. M. Ali Eslami, Nicolas Heess+5 more|arXiv (Cornell University)|Mar 28, 2016

Generative Adversarial Networks and Image Synthesis参考文献 32被引用数 248

ひとこと要約

AIR は、可変数のオブジェクトを持つ教師なしのシーン解析を実現する、アモルタイズド（近似的）で再帰的な注意ベース推論フレームワークを導入し、エンドツーエンド学習を通じて高速で解釈可能な2Dおよび3Dのシーン理解を実現します。

ABSTRACT

We present a framework for efficient inference in structured image models that explicitly reason about objects. We achieve this by performing probabilistic inference using a recurrent neural network that attends to scene elements and processes them one at a time. Crucially, the model itself learns to choose the appropriate number of inference steps. We use this scheme to learn to perform inference in partially specified 2D models (variable-sized variational auto-encoders) and fully specified 3D models (probabilistic renderers). We show that such models learn to identify multiple objects - counting, locating and classifying the elements of a scene - without any supervision, e.g., decomposing 3D images with various numbers of objects in a single forward pass of a neural network. We further show that the networks produce accurate inferences when compared to supervised counterparts, and that their structure leads to improved generalization.

研究の動機と目的

• シーンをオブジェクトへ分解するベイジアンな生成モデルアプローチを動機付け、正式化する。
• 可変オブジェクト数と空間的注意に対処できる効率的なアモルタイズド推論機構を開発する。
• 構造化された AIR モデルが解釈可能な表現と、構造化されていない VAE よりも改善された一般化を生むことを示す。
• 部分的に指定された2Dモデルと完全に指定された3Dレンダラーの両方に対する AIR の適用性を示す。
• 従来の最適化や教師ありアプローチと比較した推論の速度と頑健性を強調する。

提案手法

• 未知数のオブジェクト数に対して、各オブジェクトの潜在変数 z^i と存在変数 z_pres^i を用いて p_theta(x) を和として定式化する。
• zとnに対するアモルタイズド変分後方分布 q_phi(z, n | x) を、1回の時間ステップごとに1つのオブジェクトに着目する反復的再帰ネットワークとして実装し、z_pres がオブジェクトがこれ以上ないことを示すと終了できるようにする。
• 連結変数には再パラメータ化、離散変数には尤度比推定量を用いて、 theta と phi に関して evidence lower bound を最大化することでエンドツーエンドで訓練する。
• 2D設定では各オブジェクトを学習された形状コード z_what と姿勢 z_where でモデリングする; 3D設定ではオブジェクトを識別子と姿勢変数でモデリングし、確率的レンダラーを介してレンダリングする。
• 空間変換器と注意を組み込み、進行的再構成と推論のためにオブジェクト重視のパッチを抽出する。
• AIR が教師なしで複数オブジェクトのシーンを分解し、個数・識別・姿勢を含む高速な3Dシーン推論を行えることを示す。

実験結果

リサーチクエスチョン

• RQ1 再帰的で注意ベースの推論ネットワークは、監視なしでシーンのオブジェクト数と属性を正確に推定できるか？
• RQ2 構造化事前分布と可変長推論を組み込むことが、構造化されていない生成モデルと比較して一般化と再構成品質にどう影響するか？
• RQ3 AIR は部分指定の2Dモデルと完全指定の3Dレンダラの両方に対して、迅速なアモルタイズド推論を実行できるか？
• RQ4 学習済み表現は、限られたラベルデータでのカウント、局所化、分類といった有用な下流タスクをサポートするか？
• RQ5 AIR は速度・頑健性・局所最小値回避の点で、教師ありまたは非アモルタイズド推論法とどう比較されるか？

主な発見

• AIR は教師なしでシーン要素のカウント・局所化・分類を学習する。
• 反復的で着目された推論ネットワークは、オブジェクトが残っていない場合に早期終了でき、可変長の計算を可能にする。
• AIR は複数のオブジェクトと遮蔽を含むシーンを分解する高速な前方パス推論を提供し、一般化の点でいくつかの非構造的ベースラインを上回る。
• 2D実験では、見たことのない個数や構成への強い一般化を示し、DRAWやDAIRとの比較を含む。
• 3D実験では、レンダリング済みおよび実際のテーブルトップシーンから個数・識別・姿勢を推定し、完全に監視された手法よりも頑健で、最適化の難易度も低い場合が多い。