[論文レビュー] Tagger: Deep Unsupervised Perceptual Grouping

Klaus Greff, Antti Rasmus+4 more|arXiv (Cornell University)|Jun 21, 2016

Advanced Neural Network Applications参考文献 41被引用数 4

ひとこと要約

Taggerは、事前の仮定なしに、入力を一貫したオブジェクト風のグループに分割できる、反復的で微分可能な無教師深層学習フレームワークを導入する。再帰的アーキテクチャを用いて、グループ割り当てと表現の同時推論をアモアタイズ（緩和）することで、騒がしい複数桁分類および半教師あり学習において、畳み込み層を用いていながらも最先端の性能を達成する。

ABSTRACT

We present a framework for efficient perceptual inference that explicitly reasons about the segmentation of its inputs and features. Rather than being trained for any specific segmentation, our framework learns the grouping process in an unsupervised manner or alongside any supervised task. By enriching the representations of a neural network, we enable it to group the representations of different objects in an iterative manner. By allowing the system to amortize the iterative inference of the groupings, we achieve very fast convergence. In contrast to many other recently proposed methods for addressing multi-object scenes, our system does not assume the inputs to be images and can therefore directly handle other modalities. For multi-digit classification of very cluttered images that require texture segmentation, our method offers improved classification performance over convolutional networks despite being fully connected. Furthermore, we observe that our system greatly improves on the semi-supervised result of a baseline Ladder network on our dataset, indicating that segmentation can also improve sample efficiency.

研究の動機と目的

• 構造的で複数オブジェクトを含む入力に対して、効率的な推論が可能な、無教師的かつ知覚的グループ化を学習する深層学習フレームワークを開発すること。
• オブジェクト構造やモodal についての事前の仮定なしに、ニューラルネットワークが反復的にグループ割り当てと内部表現を改善できることを可能にすること。
• 構造的グループ化をインダクティブバイアスとして活用することで、教師ありおよび半教師あり学習におけるサンプル効率を向上させること。
• 視覚、音声、触覚データを含む多様なモダリティに適用可能なドメインに依存しないシステムを構築すること。
• 明示的なグループ化機構が、複雑で騒がしい入力において、標準的な畳み込みネットワークを上回ることを実証すること。

提案手法

• フレームワークは、各入力要素 $x_j$ について $K$ 個のグループにわたる潜在的バイナリグループ割り当て $g_{k,j}$ に対して、再帰的ニューラルネットワークを用いて反復的かつアモアタイズド推論を実行する。
• 離散的グループ割り当てを経由したバックプロパゲーションを可能にする、微分可能なグループ化メカニズムを採用する。
• 意味のあるグループ化と表現の学習に焦点を当てるために、ノイズ除去オートエンコーダーの目的関数を用いてエンドツーエンドで訓練する。
• 共有で対称的なサブネットワークを各グループごとに用い、パラメータ共有と計算効率を実現することで、グループ表現を反復的に更新する。
• 推論と特徴学習のバックボーンとしてラッダーネットワークアーキテクチャを用い、グループ固有の処理パスを備える。
• 入力構成に一般化可能な1つの共有推論ネットワークを学習することで、反復計算時間を削減する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、オブジェクト構造についての事前の仮定なしに、無教師的に知覚的グループ化を学習できるか？
• RQ2 グループ割り当てと表現に対する反復的かつアモアタイズド推論は、複雑で騒がしい複数オブジェクト認識タスクの性能を向上させるか？
• RQ3 グループ化メカニズムは、標準的なベースラインと比較して、半教師あり学習におけるサンプル効率を向上させるか？
• RQ4 画像以外のデータモダリティ、例えば音声や触覚入力に対しても、このフレームワークは有効か？
• RQ5 明示的なグループ化機構を備えた完全結合ネットワークは、畳み込みネットワークを上回る性能を発揮できるか？

主な発見

• Taggerは、強力なConvNetベースラインと比較して、重度に騒がしい複数桁画像において優れた分類性能を達成したが、完全結合アーキテクチャを用いているにもかかわらず。
• 半教師あり学習において、ベースラインのLadderネットワークを大きく上回り、たった1,000例のラベル付きデータで精度を大幅に向上させた。
• モデルは5反復以内に収束し、エンドツーエンド訓練による高度に効率的なアモアタイズド推論を示した。
• 学習されたグループ割り当ては直感的であり、ノイズ除去と分類の両方を支援しており、オブジェクト風の構造の有効な発見を示した。
• このフレームワークはモダリティを越えて一般化可能であり、畳み込みのインダクティブバイアスを必要とせず、空間的インダクティブバイアスが欠如している状況でも効果的であった。
• 結果から、知覚的グループ化は、サンプル効率とモデル一般化能力を向上させる強力なインダクティブバイアスであると示唆された。