[論文レビュー] How Useful is Self-Supervised Pretraining for Visual Tasks?

Alejandro Newell, Jia Deng|arXiv (Cornell University)|Mar 31, 2020

Advanced Vision and Imaging参考文献 47被引用数 10

ひとこと要約

この論文は、制御されたデータ複雑性を持つ合成ベンチマークを用いて、視覚的タスクにおける自己教師あり事前学習の実用的有用性を調査している。自己教師あり手法は低データ環境で最も効果的であり、ラベル付きデータが増えるに従いその有用性が低下する。多くの場合、ベースラインモデルが最大精度に達する前に飽和する。線形評価は微調整性能をうまく予測できない。

ABSTRACT

Recent advances have spurred incredible progress in self-supervised pretraining for vision. We investigate what factors may play a role in the utility of these pretraining methods for practitioners. To do this, we evaluate various self-supervised algorithms across a comprehensive array of synthetic datasets and downstream tasks. We prepare a suite of synthetic data that enables an endless supply of annotated images as well as full control over dataset difficulty. Our experiments offer insights into how the utility of self-supervision changes as the number of available labels grows as well as how the utility changes as a function of the downstream task and the properties of the training data. We also find that linear evaluation does not correlate with finetuning performance. Code and data is available at \href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}.

研究の動機と目的

• 多様な視覚的タスクとデータ環境における自己教師あり事前学習の現実的有用性を評価すること。
• データセットの難易度、モデルサイズ、下流タスクの種別といった要因が、事前学習の有用性に与える影響を調査すること。
• 自己教師あり学習における微調整性能の代理として線形評価を用いるという一般的な慣習に疑問を呈すること。
• 標準的なImageNetベースの比較を超えて、自己教師あり手法を評価するための体系的ベンチマークを提供すること。
• 同等の精度を達成するためのラベルの削減量として、自己教師あり学習のラベル効率性を定量化すること。

提案手法

• データの複雑性（色、テクスチャ、視点）を完全に制御できる合成データセットを構築し、無限に近いラベル付き例を提供。
• AMDIM、CMC、回転予測、VAEといった最先端の自己教師あり手法を、分類、セグメンテーション、深度推定のタスクで評価。
• 微調整済みモデルの精度に到達するまでに必要な追加ラベル数の比として、有用性を定量化するメトリクスを定義。これにより、ラベルの節約量を定量的に比較可能に。
• 微調整性能と線形評価を比較し、ネットワークの異なるブロックを凍結することで、微調整の範囲に対する感受性を評価。
• モデル容量の影響を調査するため、ResNet9とResNet50のバックボーンを用いた。
• ラベル付きデータ量を変化させながら性能を測定し、データスケールに伴う有用性の低下を分析。

実験結果

リサーチクエスチョン

• RQ1 利用可能なラベル付き例の数が増えるにつれて、自己教師あり事前学習の有用性はどのように変化するか？
• RQ2 自己教師あり学習において、線形評価は下流の微調整性能と相関するか？
• RQ3 モデルサイズは自己教師あり事前学習の有用性にどのように影響するか？
• RQ4 データの複雑性（例：テクスチャ、視点変動）は、自己教師あり手法の有効性にどのように影響するか？
• RQ5 異なる下流タスクやデータ設定において、自己教師あり手法のパフォーマンス順位は一貫しているか？

主な発見

• 自己教師あり事前学習は低データ環境で最も効果的であり、ラベル付きデータが増えるに従いその有用性が低下する。多くの場合、ベースラインモデルが最大精度に達する前に飽和する。
• 実験全体を通して最も一般的な結果は、自己教師ありモデルがベースラインと同等の精度に到達するが、性能が飽和する前にそれ以上ラベルの節約が得られないこと。
• 線形評価は微調整性能と相関しない。例えば、AMDIMは線形評価で最高のスコアを記録したが、微調整における有用性は最低であった。
• 大きなモデル（ResNet50）は小さなモデル（ResNet9）よりも高い有用性を示す。これは、ベースライン性能の向上と、微調整後の性能向上の両方が理由である。
• 自己教師あり学習は、より複雑なデータ（例：ランダムなテクスチャや視点変動を含む）に対してより効果的である。特に、非意味的変換を無視する能力を持つ対照的手法が顕著に優れている。
• ネットワークの層をより多く凍結すると性能が低下し、線形評価で高いスコアを出したモデルほど、凍結による性能低下が顕著である。これは、線形評価が微調整の有用性を適切に代理できないことを示している。