[論文レビュー] A critical analysis of self-supervision, or what we can learn from a single image

Yuki M. Asano, Christian Rupprecht+1 more|arXiv (Cornell University)|Apr 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 67被引用数 65

ひとこと要約

この論文は ImageNet でさまざまな深さから得られる self-supervised 表現を分析し、パッチベースの拡張を用いたときの線形プローブの挙動を示し、自己教師あり法が深い層で監督付きの性能に遅れをとる一方、訓練方式とパッチサイズによって初期層で追いつくまたは上回ることがあることを強調する。

ABSTRACT

We look critically at popular self-supervision techniques for learning deep convolutional neural networks without manual labels. We show that three different and representative methods, BiGAN, RotNet and DeepCluster, can learn the first few layers of a convolutional network from a single image as well as using millions of images and manual labels, provided that strong data augmentation is used. However, for deeper layers the gap with manual supervision cannot be closed even if millions of unlabelled images are used for training. We conclude that: (1) the weights of the early layers of deep networks contain limited information about the statistics of natural images, that (2) such low-level statistics can be learned through self-supervision just as well as through strong supervision, and that (3) the low-level statistics can be captured via synthetic transformations instead of using a large image dataset.

研究の動機と目的

• ImageNet で線形プローブを用いてネットワーク深さ全体で自己教師 Representations の性能を評価する。
• 低レベルと高レベルの特徴を学習させるパッチベース拡張戦略の影響を調べる。
• 自己教師あり法と監督付きベースラインを比較し、深さ依存の性能差を特定する。

提案手法

• 小さなパッチを含むさまざまな拡張戦略を用いて自己教師ありモデルを訓練する。
• 異なるネットワーク層に付随する線形分類器を用いて表現を評価する。
• 層ごとの絶対精度と相対精度（監督付きと比較）をプロットし、深さ依存の傾向を評価する。
• 小さなパッチでの訓練が低レベルのフィルタ（conv1）の学習を強調する方法を分析する。
• 深さとともに自己教師ありモデルの性能低下と監督ベースラインの比較を比較する。

実験結果

リサーチクエスチョン

• RQ1 線形プローブで評価した場合、ImageNet での自己教師あり表現は異なるネットワーク深さでどのように機能するか？
• RQ2 拡張におけるパッチサイズは、特に低レベルフィルタの学習に影響を与えるか？
• RQ3 ImageNet における自己教師あり法と監督付きベースラインの深さ依存的なギャップはどの程度か？
• RQ4 特定の訓練スキームの下で初期層で自己教師あり法が監督付きと同等または上回ることは可能か？
• RQ5 異なる拡張戦略は層間での特徴の転移性にどのように影響するか？

主な発見

• 特定のパッチベースの訓練スキームの下で、非常に最初の conv レイヤーで自己教師ありモデルが監督付きモデルを上回ることがある。
• 自己教師あり法のパフォーマンスは conv3 以降の深さで一般に劣化する一方、監督付きモデルは深くなると改善する。
• 自己教師あり法の監視付きに対する相対的な改善は層ごとに異なり、深い層ではタスク固有の監視によってギャップが広がる。
• 非常に小さなパッチを用いたパッチベース拡張は有用な低レベルフィルタの学習を強調する。
• 自己教師モデルの表現に対する線形プローブは、特定の訓練 regimes で初期層において監督ベースラインと同等の性能を示す。