[論文レビュー] Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks

Alexey Dosovitskiy, Philipp Fischer+3 more|arXiv (Cornell University)|Jun 26, 2014

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 31

ひとこと要約

本論文は、画像パッチの変換版を識別するように畳み込みニューラルネットワークを訓練することにより、ラベルなしデータのみを用いて教師なし特徴学習を行うExemplar-CNNを提案する。このアプローチにより、一般的な画像変換に対して不変な強力な汎用的特徴が学習され、STL-10、CIFAR-10、Caltech-101、Caltech-256における教師なし画像分類タスクで最先端の性能を達成し、幾何的マッチングタスクにおいてもSIFTを上回る性能を示した。

ABSTRACT

Deep convolutional networks have proven to be very successful in learning task specific features that allow for unprecedented performance on various computer vision tasks. Training of such networks follows mostly the supervised learning paradigm, where sufficiently many input-output pairs are required for training. Acquisition of large training sets is one of the key challenges, when approaching a new task. In this paper, we aim for generic feature learning and present an approach for training a convolutional network using only unlabeled data. To this end, we train the network to discriminate between a set of surrogate classes. Each surrogate class is formed by applying a variety of transformations to a randomly sampled 'seed' image patch. In contrast to supervised network training, the resulting feature representation is not class specific. It rather provides robustness to the transformations that have been applied during training. This generic feature representation allows for classification results that outperform the state of the art for unsupervised learning on several popular datasets (STL-10, CIFAR-10, Caltech-101, Caltech-256). While such generic features cannot compete with class specific features from supervised training on a classification task, we show that they are advantageous on geometric matching problems, where they also outperform the SIFT descriptor.

研究の動機と目的

• コンピュータビジョンにおける教師ありCNN学習のための大きなラベル付きデータセットの取得という課題に取り組む。
• ラベル付きデータに依存しないが、識別的で頑健な特徴を生成できる汎用的特徴学習手法を開発する。
• 単一の画像パッチのデータ拡張から生成された代替クラスを用いることで、教師なし特徴学習を改善する。
• 分類にとどまらず、マッチングを含む多様なタスクへの特徴の転送可能性を可能にする。
• 教師ありベースラインを上回る可能性がある特定のタスク（記述子マッチングなど）において、教師なし特徴がSIFTを凌駕することを実証する。

提案手法

• ランダムに抽出された1つの画像パッチ（「シード」として）に、回転、スケーリング、色のノイズなど、ランダムな変換を適用し、代替クラスを構築する。
• 各変換されたパッチがその対応する代替クラスに属することを分類するようにCNNを学習し、交差エントロピー損失を用いる。
• ReLU活性化関数、マックスプーリング、および最終全結合層におけるドロップアウトを備えた標準的なCNNアーキテクチャを用いる。
• トレーニング中にデータ拡張を適用：各パッチが複数回変換され、1つのクラスに複数のバリエーションが形成される。
• 適用された変換に対して不変な特徴を学習するために、代替タスクの識別的性質を活用する。
• トレーニング後にクラスタリングを適用し、SVMの活性化スコアに基づいて類似したパッチをグループ化することで、特徴表現を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張に基づく代替分類タスクを用いて、ラベルなしデータから汎用的で頑健な特徴をCNNが学習できるか？
• RQ2 エキスプレムルベースのトレーニングによる教師なし特徴学習の性能は、標準ベンチマーク上での既存の教師ありおよび教師なしベースラインと比べてどの程度か？
• RQ3 学習された特徴は一般的な画像変換に対してどの程度不変であるか、そして不変性はどのように定量的に測定できるか？
• RQ4 学習された特徴は幾何的マッチングタスクに効果的に一般化できるか？ また、SIFTのような手作業で作成された記述子を上回るか？
• RQ5 代替クラスにおける識別的トレーニング目的は、生成的またはオートエンコーダーに基づく教師なし手法よりも、より優れた転送性をもたらすか？

主な発見

• Exemplar-CNN手法は、STL-10、CIFAR-10、Caltech-101、Caltech-256における教師なし画像分類タスクで、これらのベンチマーク上でのすべての先行教師なし手法を上回り、最先端の性能を達成した。
• STL-10データセットでは、ラベルなしデータのみを用いてトップ1分類精度78.3%を達成し、以前の教師なし手法を上回った。
• 学習された特徴は幾何的マッチングタスクにおいてSIFT記述子を上回り、特徴対応とマッチング精度の両面で優れた性能を示した。
• ImageNetからのクラス特化特徴とは異なり、Exemplar-CNNが学習した特徴は、分類とは関係のないタスク（例：マッチング）への転送において、より優れた一般化性能を示した。
• 代替クラスにおける識別的教師ありトレーニングが、生成的またはオートエンコーダーに基づく教師なし手法よりも、より頑健で転送可能な特徴を生成することを示した。
• 特徴ベクトルの正規化および不変性評価におけるカーブ正規化により、特徴間の公平な比較が可能となり、本手法が変換に対して徐々に応答する特徴を学習していることが明らかになった。これは、強い不変性を示している。