[論文レビュー] Colorization as a Proxy Task for Visual Understanding

Gustav Larsson, Michael Maire+1 more|arXiv (Cornell University)|Mar 11, 2017

Advanced Chemical Sensor Technologies参考文献 42被引用数 56

ひとこと要約

本論は自己教師付きカラー化をImageNetの置換となるドロップイン事前学習として示し、ImageNetラベルなしでVOCの最先端結果を達成するとともに、損失関数・アーキテクチャ・学習選択に関する徹底的な分析を提供する。

ABSTRACT

We investigate and improve self-supervision as a drop-in replacement for ImageNet pretraining, focusing on automatic colorization as the proxy task. Self-supervised training has been shown to be more promising for utilizing unlabeled data than other, traditional unsupervised learning methods. We build on this success and evaluate the ability of our self-supervised network in several contexts. On VOC segmentation and classification tasks, we present results that are state-of-the-art among methods not using ImageNet labels for pretraining representations. Moreover, we present the first in-depth analysis of self-supervision via colorization, concluding that formulation of the loss, training details and network architecture play important roles in its effectiveness. This investigation is further expanded by revisiting the ImageNet pretraining paradigm, asking questions such as: How much training data is needed? How many labels are needed? How much do features change when fine-tuned? We relate these questions back to self-supervision by showing that colorization provides a similarly powerful supervisory signal as various flavors of ImageNet pretraining.

研究の動機と目的

• 視覚理解のためにラベルなしデータを活用するべく自己教師付き学習の利用を動機づける。
• 転移可能な視覚表現を学習するための代理タスクとしてカラー化を調査する。
• VOCの分類およびセグメンテーションのベンチマークでカラー化ベースの事前学習を評価する。
• 損失の定式化、アーキテクチャ、および学習の詳細が学習表現にどのように影響するかを分析する。

提案手法

• L*a*b spaceを用いてグレースケールからカラーを予測するカラー化ネットワークを訓練し、ヒストグラムベースの色相/彩度損失を用いる。
• スパースな訓練を用いて表現を効率的に学習するためにハイパーカラムを利用する。
• 3.7Mのラベルなし画像（ImageNet + Places205）で事前学習し、下流タスクに転移する。
• アーキテクチャとデータレジーム横断で、カラー化事前学習とImageNet事前学習を体系的に比較する。
• 学習率スケジュール、受容野の拡大、バッチ正規化の扱いなどの学習の詳細を探る。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きカラー化はVOCの分類とセグメンテーションにおいて、監視学習によるImageNet事前学習に匹敵するか、または近づくか？
• RQ2 損失の定式化とアーキテクチャの選択は学習表現の品質にどのように影響するか？
• RQ3 事前学習データサイズとラベル多様性が下流の性能に与える影響は？
• RQ4 完全に監視学習による事前学習と比較して、カラー化由来の表現は微調整中にどのように変化するか？

主な発見

• カラー化ベースの事前学習は、ResNet-152と拡張視野を用いてVOC 2012 セグメンテーションで60.0% mIUを達成し、ImageNetラベルなしで報告された最高値である。
• VOC 2007分類では、カラー化事前学習が77.3% mAPに達し、ImageNet非使用手法の最先端である。
• 色相/彩度空間でのカラー直方図予測は、カラー値の回帰よりも下流で良い結果をもたらす（52.9% mIU 対 48.0% mIU）。
• モデルの複雑さを増す（AlexNet → VGG-16 → ResNet-152）は、カラー化事前学習でより大きな利得をもたらし、特に小規模データ条件で顕著である。
• カラー化特徴は微調整中に顕著な特徴シフトを示し、学習された表現は単なる良い初期化ではなく下流タスクに再利用されることを示している。