[論文レビュー] What makes instance discrimination good for transfer learning?

Nanxuan Zhao, Zhirong Wu+2 more|arXiv (Cornell University)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 83

ひとこと要約

本論文は、なぜインスタンス識別(対比)事前学習が転移に優れるのかを分析し、低レベル/中レベルの表現が転移を推進すること、教師あり事前学習によるクラス内不変性が転移を害すること、例示ベースの監督がタスク間一般化を改善できることを示す。

ABSTRACT

Contrastive visual pretraining based on the instance discrimination pretext task has made significant progress. Notably, recent work on unsupervised pretraining has shown to surpass the supervised counterpart for finetuning downstream applications such as object detection and segmentation. It comes as a surprise that image annotations would be better left unused for transfer learning. In this work, we investigate the following problems: What makes instance discrimination pretraining good for transfer learning? What knowledge is actually learned and transferred from these models? From this understanding of instance discrimination, how can we better exploit human annotation labels for pretraining? Our findings are threefold. First, what truly matters for the transfer is low-level and mid-level representations, not high-level representations. Second, the intra-category invariance enforced by the traditional supervised model weakens transferability by increasing task misalignment. Finally, supervised pretraining can be strengthened by following an exemplar-based approach without explicit constraints among the instances within the same category.

研究の動機と目的

• インスタンス識別が下流タスクへの強い転移を可能にする要素は何かを理解する。
• 対照的事前学習中に学習され転移する知識を特定する。
• 転移性能におけるデータ意味論と画像拡張の役割を評価する。
• インスタンス特有の情報を保持するような監督付き事前学習のバリアントを提案して転移を改善する。
• 検出、セグメンテーション、Few-shot、顔特徴点予測など、複数の転移シナリオにわたる知見の普遍性を評価する。

提案手法

• 下流タスク（VOC07 検出、COCO 検出/セグメンテーション、Cityscapes セグメンテーション）を横断して、対照的( MoCo ベース)と監督付き事前学習を比較する。
• 両方の事前学習パラダイムに対して、画像拡張の転移性能への影響を系統的に調査する。
• 意味論的重複度とサイズが異なるデータセットで学習することにより、事前学習データの意味論の影響を調べる。
• 検出ツールボックスと特徴反転を用いて転移の失敗と局在精度を分析し、高レベル情報と低-/中レベル情報の学習内容を理解する。
• クラスラベルを用いて真のネガティブをフィルタリングする（Exemplar loss）を用いた、例示ベースの監督付き事前学習目的を提案し、クラス内の変動の崩壊を回避する。
• 例示ベースの監督付き事前学習が転移を改善しつつ、ImageNet分類性能を妥当な水準に保つことを示す。
• 一般性を検証するため、few-shot認識と顔のランドマーク予測にも分析を拡張する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス識別型事前学習のどの要素が優れた転移性能を生み出しているのか。
• RQ2 高レベルの意味論的内容が不可欠か、それとも低-/中レベルの表現が優位か。
• RQ3 画像拡張とデータセットの意味論が、対照的および監督付き事前学習の転移にどのように影響するか。
• RQ4 クラス内不変性を強 force することなく、監督を活用して転移を改善できるか。
• RQ5 これらの知見はFew-shot学習や顔のランドマーク予測のような他の転移シナリオにも一般化するか。

主な発見

• 低レベル/中レベルの表現が視覚的事前学習の転移の主要な推進力である。
• 従来の監督付き事前学習によるクラス内不変性は下流タスクと齟齬をきたし、転移を害する可能性がある。
• 例示ベースの監督付き事前学習（陽性を近づけることを強制しない）は転移を改善しつつ、ImageNet精度を競争力のある水準に維持する。
• 対照的事前学習は、監督付き事前学習よりも、タスクを跨いで集中的な画像拡張の恩恵を受ける。
• ターゲットタスクと意味論的に異なるデータでの事前学習は、対照的転移を一般に害しないが、監督付き転移はタスク意味論が一致しない限り劣化する可能性がある。
• Few-shot認識と顔のランドマーク予測の各領域で、例示ベースの監督は転移性能を保持し、標準的な監督ベースラインを上回ることがある。