[論文レビュー] Discriminative Unsupervised Feature Learning with Convolutional Neural Networks

Alexey Dosovitskiy, Jost Tobias Springenberg+2 more|arXiv (Cornell University)|Jun 26, 2014

Advanced Neural Network Applications参考文献 32被引用数 648

ひとこと要約

この論文は、変換された画像パッチを仮想クラスとして扱うことで、ラベルなしデータ上で学習する、畳み込みニューラルネットワークのための新しい教師なし特徴学習手法を提案する。データ拡張によってこれらの合成クラスを区別することで、ラベル付き例を一切使用せずに、STL-10、CIFAR-10、Caltech-101で最先端の性能に達するか、それを上回る強力な視覚的表現を学習する。

ABSTRACT

Current methods for training convolutional neural networks depend on large amounts of labeled samples for supervised training. In this paper we present an approach for training a convolutional neural network using only unlabeled data. We train the network to discriminate between a set of surrogate classes. Each surrogate class is formed by applying a variety of transformations to a randomly sampled ’seed ’ image patch. We find that this simple feature learning algorithm is surprisingly successful when applied to visual object recognition. The feature representation learned by our algorithm achieves classification results matching or outperforming the current state-of-the-art for unsupervised learning on several popular datasets (STL-10, CIFAR-10, Caltech-101). 1

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）が、効果的な事前学習のため、大規模なラベル付きデータセットに依存することを是正すること。
• データ拡張を活用して仮想クラスを生成する、判別型教師なし学習手法を開発すること。
• このような手法が、ラベル付きデータを一切使用せずに、競争力のある視覚的表現を学習できるかどうかを評価すること。
• 標準的な物体認識データセット上で、学習された特徴を既存の最先端の教師なし手法とベンチマークすること。

提案手法

• この手法は、ラベルなしデータからランダムに抽出された画像パッチに、ランダムな変換（例：回転、クロップ、色のノイズ）を適用することで仮想クラスを構築する。
• 各変換されたパッチを別個のクラスとして扱い、ネットワークは与えられたパッチにどの変換が適用されたかを分類するように学習する。
• ネットワークは標準の畳み込みアーキテクチャを用い、同じシードパッチの異なる変換同士の区別を最大化するためのコントラスト損失目的関数を採用する。
• 最終的な特徴表現は、訓練済みネットワークの直前層（ペンultimate layer）から抽出され、後続の分類タスクに使用される。
• このアプローチはエンドツーエンドで微分可能であり、事前学習段階でラベル付きデータを一切必要としない。
• この手法は、学習済み特徴上で線形分類器ヘッドを訓練することで、標準ベンチマークにおける転移学習の評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 CNNは、判別型の目的関数を用いて、ラベルなしデータのみから意味のある視覚的特徴を学習できるか？
• RQ2 データ拡張によって形成された仮想クラスは、特徴学習を導くのにどの程度有効か？
• RQ3 この教師なし手法は、既存の最先端の教師なし学習アプローチと同等か、それ以上の性能を達成できるか？
• RQ4 学習された特徴は、標準データセット上の後続の分類タスクにどの程度一般化できるか？

主な発見

• 提案手法は、教師なし事前学習における現在の最先端の性能に達するか、それを上回るSTL-10の分類精度を達成した。
• CIFAR-10では、事前学習段階でラベル付きデータを一切使用しないにもかかわらず、先行する教師なし手法と同等か、それ以上の性能を示した。
• Caltech-101に対してもモデルは良好に一般化し、学習済み表現の強力な転送性を示した。
• データ拡張を用いて仮想クラスを形成することで、特徴の質が著しく向上し、対照的な監視を欠いたベースライン自己教師学習手法を上回った。
• この手法は多様なデータセットに対して頑健で効果的であり、アプローチの広範な適用可能性を示している。
• 判別型学習がデータ拡張によって形成された合成クラスに対して行われることで、コントラスト的または予測型の自己教師学習とは異なる強力な代替手法であることが確認された。