[論文レビュー] Learning Deep Representations Using Convolutional Auto-encoders with Symmetric Skip Connections

Jianfeng Dong, Xiao-Jiao Mao+2 more|arXiv (Cornell University)|Nov 28, 2016

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 4

ひとこと要約

この論文は、画像再構成を通じて表現学習を向上させる非教師あり事前学習のための対称的スキップ接続を備えた畳み込み自己符号化器を提案する。このアーキテクチャにより、ラベル付きデータが限られた状況でも画像分類およびセマンティックセグメンテーションで優れた性能を達成でき、残差スタイルのスキップ接続を用いた再構成により、ラベルなしデータから強固で意味的に意味のある特徴を学習することができる。

ABSTRACT

Unsupervised pre-training was a critical technique for training deep neural networks years ago. With sufficient labeled data and modern training techniques, it is possible to train very deep neural networks from scratch in a purely supervised manner nowadays. However, unlabeled data is easier to obtain and usually of very large scale. How to make use of them better to help supervised learning is still a well-valued topic. In this paper, we investigate convolutional denoising auto-encoders to show that unsupervised pre-training can still improve the performance of high-level image related tasks such as image classification and semantic segmentation. The architecture we use is a convolutional auto-encoder network with symmetric shortcut connections. We empirically show that symmetric shortcut connections are very important for learning abstract representations via image reconstruction. When no extra unlabeled data are available, unsupervised pre-training with our network can regularize the supervised training and therefore lead to better generalization performance. With the help of unsupervised pre-training, our method achieves very competitive results in image classification using very simple all-convolution networks. When labeled data are limited but extra unlabeled data are available, our method achieves good results in several semi-supervised learning tasks.

研究の動機と目的

• 現代的で大規模な教師あり学習設定において、畳み込み自己符号化器を用いた非教師あり事前学習が、深層ネットワークの性能を向上させ続けるかどうかを調査すること。
• 対称的スキップ接続が、分類およびセグメンテーションに適した抽象的で高レベルの表現を自己符号化器が学習できるかを評価すること。
• 追加のラベルなしデータが利用可能でない場合（ケース1）に事前学習が正則化として機能する役割と、追加のラベルなしデータが存在する場合（ケース2）に半教師あり学習手法としての役割を評価すること。
• 分類ラベルが一切ない状況で再構成のみによって学習された表現が、意味的に関連する特徴を捉えられるかどうかを特定すること。

提案手法

• 画像復元アーキテクチャにインspiredされた、完全畳み込み型のエンコーダ・デコーダネットワークに、対称的スキップ接続を導入する。
• ノイズ除去自己符号化器の学習目的を採用：入力画像を変更（例：パッチをマスキング）し、元の画像を再構成するようにネットワークを訓練する。
• エンコーダとデコーダの対応する層で、特徴を伝達する対称的スキップ接続を採用し、訓練の安定化と特徴学習の向上を図る。
• 事前学習済みエンコーダを特徴抽出器として利用し、下流タスクのためのラベル付きデータでの微調整は分類器ヘッドのみを対象とする。
• 教師あり微調整の前に、大規模なラベルなしデータセット（例：ImageNetのサブセット）で非教師あり事前学習を実施する。
• PASCAL VOC 2007で画像分類およびセマンティックセグメンテーションの性能を、完全教師ありおよび半教師あり設定の両方で評価する。

実験結果

リサーチクエスチョン

• RQ1 十分なラベル付きデータで訓練を再開する現代の深層ネットワークにおいて、再構成に基づく目的関数を用いた非教師あり事前学習が一般化性能を向上させ続けるのか？
• RQ2 自己符号化器が画像再構成を通じて意味のある表現を学習できるようにするために、対称的スキップ接続がどれほど重要なのか？
• RQ3 特定の意味的カテゴリ（例：動物や車両）のラベルなしデータで事前学習すると、微調整時にそのカテゴリの性能が向上するのか？
• RQ4 追加のラベルなしデータが訓練セットを超えて存在しない場合でも、非教師あり事前学習が効果的な正則化として機能するのか？
• RQ5 オクルージョンなどの汚染に対して学習された表現はどれほど頑健であり、顔や車輪のような顕著な意味的構造を暗黙的に検出できるのか？

主な発見

• 対称的スキップ接続は、自己符号化器における効果的な表現学習に不可欠である。それらを除去すると再構成性能が著しく低下し、下流タスクの性能も劣化する。
• 「哺乳類」または「車両」スーパークラスからなる93,000枚のラベルなし画像を用いてImageNetで事前学習すると、初期学習から訓練した場合に比べてPASCAL VOC 2007の平均平均精度（mAP）が最大3.66ポイント向上する。
• 動物画像で事前学習したネットワークは「動物」粗分類クラスで73.04%のmAPを達成し、車両で事前学習したモデルは「車両」クラスで80.00%に達する。これは、カテゴリに応じた表現学習が可能であることを示している。
• 可視化の結果、教師なし状態でも、犬の顔や車のホイールといった意味的に関連する領域に注目するよう自己符号化器が学習していることが示され、オブジェクトパーツの暗黙的学習が行われていることが示唆される。
• 部分的オクルージョン下でも特徴マップの安定性が保たれており、一貫した活性化パターンが汚染された入力に対しても観察されることから、学習済み表現が汚染に対して頑健であることが示されている。
• 半教師あり学習設定では、共同学習手法と比較して競争力ある結果を達成しており、追加のラベルなしデータが利用可能な場合に有効であることが示された。