[論文レビュー] Deep unsupervised learning through spatial contrasting

Elad Hoffer, Itay Hubara+1 more|arXiv (Cornell University)|Oct 2, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 14

ひとこと要約

本稿では、画像内の空間的局所特徴同士を対比することで特徴学習を向上させる、畳み込みニューラルネットワークのための新しい教師なし事前学習手法であるSpatial Contrasting (SC) を提案する。標準的なバックプロパゲーションを用いた微分可能対比損失により訓練することで、SCはSTL-10で81.3%の精度を達成し、SOTAの性能を発揮した。CIFAR-10およびMNISTでも競争力ある結果を示し、初期化なしのモデルに比べて顕著な向上を示した。

ABSTRACT

Convolutional networks have marked their place over the last few years as the best performing model for various visual tasks. They are, however, most suited for supervised learning from large amounts of labeled data. Previous attempts have been made to use unlabeled data to improve model performance by applying unsupervised techniques. These attempts require different architectures and training methods. In this work we present a novel approach for unsupervised training of Convolutional networks that is based on contrasting between spatial regions within images. This criterion can be employed within conventional neural networks and trained using standard techniques such as SGD and back-propagation, thus complementing supervised methods.

研究の動機と目的

• 畳み込みネットワークのためのシンプルで効果的な教師なし事前学習基準を開発すること。これにより、ネットワーク構造の変更なしに汎化性能が向上することを目的とする。
• 空間的特徴対比に基づくエンドツーエンド微分可能な損失関数を定式化することで、標準的なバックプロパゲーションおよびSGDによる学習を可能とすること。
• 教師あり微調整において、ラベル付きデータが限られている状況でも、空間的対比による教師なし事前学習が性能を顕著に向上させられることを示すこと。
• 将来的な半教師あり学習フレームワークの基盤として、空間的対比の可能性を検討すること。

提案手法

• 本手法は、同じ画像からの空間的パッチ（ポジティブペア）同士の一致を最大化し、異なる画像からのパッチ（ネガティブペア）同士の一致を最小化する対比損失を定義する。
• 畳み込みネットワークの特徴マップからパッチを抽出し、プロジェクションヘッドを用いて表現空間に埋め込む。
• 温度調整付き交差エントロピーを用いて、ポジティブおよびネガティブペアのパッチ間の対比損失を計算することで、勾配ベースの最適化を可能にする。
• この損失関数は微分可能であり、標準的なバックプロパゲーションおよびSGDを用いて、教師あり目的関数と同時に最適化可能である。
• 事前学習済みネットワークを、少量のラベル付きサンプルのみを用いて、下流の教師ありタスクで微調整する。
• 本手法は標準的なCNNアーキテクチャと互換性があり、特別な訓練手順やネットワークの変更を必要としない。

実験結果

リサーチクエスチョン

• RQ1 画像内の空間的領域に基づく対比損失が、畳み込みネットワークにおける教師なし表現学習を向上させることができるか？
• RQ2 空間的対比による事前学習が、教師あり分類タスクへの微調整において、より良い汎化性能をもたらすか？
• RQ3 自己符号化器、例示ネットワーク、ラダーネットワークなどの既存の教師なし手法と比較して、空間的対比は性能および学習効率の点で優れているか？
• RQ4 訓練中に教師あり損失と組み合わせることで、空間的対比を半教師あり学習に拡張できるか？

主な発見

• STL-10データセットでは、提案された空間的対比による事前学習が、81.3%のテスト精度を達成し、新たなSOTA結果を樹立した。
• 事前学習なしでは、同じモデルが72.6%の精度にとどまり、SC初期化の顕著な利点を示した。
• ラベル付きサンプルが4,000個しかないCIFAR-10では、79.2%のテスト精度を達成し、以前の教師なし手法を上回り、ラダーネットワークのような半教師ありモデルの性能に近づいた。
• MNISTでは、SC事前学習を用いることで、テスト誤差が0.63%から0.34%に低下し、より単純なデータセットに対しても一貫した改善が得られた。
• すべてのデータセットで一貫した改善が得られたことから、空間的対比がラベルなしデータから有用な不変性および空間的構造を効果的に学習していることが示された。
• 本手法は標準的な学習パイプラインと互換性があり、教師あり損失と組み合わせられる可能性を示しており、半教師あり学習への強い可能性を示している。