[論文レビュー] Stacked Capsule Autoencoders

Adam R. Kosiorek, Sara Sabour+2 more|arXiv (Cornell University)|Jun 17, 2019

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 36

ひとこと要約

Stacked Capsule Autoencoders (scae) は、ラベルなしでオブジェクトの部品とそれらの視点を学習し、部品をオブジェクトカプセルに整理して MNIST と SVHN で最先端の教師なし分類を達成します。

ABSTRACT

Objects are composed of a set of geometrically organized parts. We introduce an unsupervised capsule autoencoder (SCAE), which explicitly uses geometric relationships between parts to reason about objects. Since these relationships do not depend on the viewpoint, our model is robust to viewpoint changes. SCAE consists of two stages. In the first stage, the model predicts presences and poses of part templates directly from the image and tries to reconstruct the image by appropriately arranging the templates. In the second stage, SCAE predicts parameters of a few object capsules, which are then used to reconstruct part poses. Inference in this model is amortized and performed by off-the-shelf neural encoders, unlike in previous capsule networks. We find that object capsule presences are highly informative of the object class, which leads to state-of-the-art results for unsupervised classification on SVHN (55%) and MNIST (98.7%). The code is available at https://github.com/google-research/google-research/tree/master/stacked_capsule_autoencoders

研究の動機と目的

• ビューポイントの変化に頑健な構造化されたオブジェクト表現の教師なし学習を動機づける。
• 部品カプセルオートエンコーダーとオブジェクトカプセルオートエンコーダーの二段階アーキテクチャを開発し、部品をセグメント化してそれらをオブジェクトに組み立てる。
• 部品とオブジェクト間の幾何関係を活用して、教師なし分類と解釈性を改善する。

提案手法

• Constellation Autoencoder (ccae) を導入し、2D 点の集合を類似変換によって変換された星座としてモデル化する。
• Part Capsule Autoencoder (pcae) を開発し、画像から部品の姿勢と存在を推定し、アフィン変換されたテンプレートを用いて再構成する。
• pcae を Object Capsule Autoencoder (ocae) とスタックして scae を形成する。オブジェクトカプセルは部品の姿勢を予測し、再構成のために予測を混合する。
• 画像を、変換されたテンプレートと部品の姿勢から生じる空間的ガウス混合モデルとしてモデル化する。
• スパース性とエントロピーベースの損失を組み込み、例ごとにカプセルの多様で専門的な使用を奨励する。

実験結果

リサーチクエスチョン

• RQ1 部品カプセルとオブジェクトカプセルの教師なし訓練は、画像から意味のあるオブジェクト構造を発見できるか。
• RQ2 オブジェクトカプセルの存在ベクトルは、教師なしクラス発見の有益な信号を提供するか。
• RQ3 幾何変換と部品-ビューアの関係は、視点不変の推論をどのように可能にするか。
• RQ4 スパース性とエンコーダの選択が教師なし分類と一般化に与える影響はどの程度か。

主な発見

• scae は MNIST で最先端の教師なし分類を達成（lin-match 98.7%、lin-pred 99.0%）および SVHN で最先端の教師なし分類を達成（lin-match 55.33%、lin-pred 67.27%）。
• オブジェクトカプセルの存在ベクトルはクラスラベルと相関する緊密なクラスタを形成し、教師なしのクラス発見を可能にする。
• アブレーション研究は、スパース性損失、ノイズ注入、変換タイプ、部品エンコーダの選択、オブジェットカプセルエンコーディングの Set Transformer の寄与を示す。
• MNIST の教師なしクラスタリング性能は、視点一般化タスク（AffNIST）により、ある設定で 92.2% へ改善した。
• 二段階アーキテクチャ（pcae + ocae）と ccae ベースの事前訓練を組み合わせることで、画像からの教師なしセグメンテーションとオブジェクト発見を実現できる。
• 従来のテンプレートと背景モデリングの制約のため CIFAR-10 では性能が低く、より深い階層または入力依存のテンプレートの可能性が示唆される。