[論文レビュー] The Visual Task Adaptation Benchmark

Xiaohua Zhai, Joan Puigcerver+15 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning被引用数 44

ひとこと要約

Visual Task Adaptation Benchmark (VTAB) は、新しい少サンプルの下流タスクへの視覚的表現の適応度を評価するための統一的で多様性に富み、現実的であるベンチマークを導入した。このベンチマークは、ImageNet事前学習、自己教師あり学習、生成モデルといった代表的な手法を評価し、表現の質がタスクによって顕著に異なること、およびラベルデータが利用可能であっても自己教師あり学習が利点をもたらすことを示している。

ABSTRACT

Representation learning promises to unlock deep learning for the long tail of vision tasks without expansive labelled datasets. Yet, the absence of a unified yardstick to evaluate general visual representations hinders progress. Many sub-fields promise representations, but each has different evaluation protocols that are either too constrained (linear classification), limited in scope (ImageNet, CIFAR, Pascal-VOC), or only loosely related to representation quality (generation). We present the Visual Task Adaptation Benchmark (VTAB): a diverse, realistic, and challenging benchmark to evaluate representations. VTAB embodies one principle: good representations adapt to unseen tasks with few examples. We run a large VTAB study of popular algorithms, answering questions like: How effective are ImageNet representation on non-standard datasets? Are generative models competitive? Is self-supervision useful if one already has labels?

研究の動機と目的

• 多様で現実的なタスクにわたる視覚的表現の評価のための統一されたベンチマークが不足しているという問題に対処すること。
• ImageNet や CIFAR といった標準的なベンチマークとは異なる、少サンプルで分布外のタスクへの表現の一般化能力を評価すること。
• 教師あり事前学習、自己教師あり学習、生成モデルを含む、さまざまな表現学習パラダイムの有効性を比較すること。
• 微調整に使用可能なラベルがある状況でも、自己教師ありまたは生成モデルの表現が有用であるかどうかを調査すること。
• 現実世界の展開状況を反映する少サンプル適応を重視する標準的な評価プロトコルを確立すること。

提案手法

• VTAB は、分類、検出、セグメンテーション、深度推定をカバーする18の多様で現実的な視覚的タスクから成るベンチマークを構築する。
• 各タスクでは、少量のラベル付き例（少サンプル）を用いてゼロショットおよび微調整適応性能を評価する。
• 医療画像、衛星画像、合成データセットを含む、非標準のデータ分布を持つタスクを含む。
• 各タスクにおいて線形プローブと微調整を通じて表現を評価し、ゼロショットおよび少サンプル精度を測定する。
• 評価プロトコルは、標準的なデータセットの分布からのバイアスを避けるために、転移可能性と一般化能力に重点を置いている。
• 14の最先端の表現学習アルゴリズムをすべてのタスクで大規模に評価し、性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet事前学習済み表現は、非標準的で分布外の視覚的タスクにおいてどれほど効果的か？
• RQ2 少サンプルタスクに微調整する際、自己教師あり表現は教師あり事前学習と同等の性能を発揮するか？
• RQ3 生成モデルは、下流の視覚的タスクに適応しやすい表現を生成できるか？
• RQ4 微調整に使用可能なラベルがある状況でも、自己教師あり学習が追加の利点をもたらすか？
• RQ5 標準的なベンチマークとは対照的に、多様で現実的なタスクにおいて表現の質はどのように変動するか？

主な発見

• ImageNet事前学習済み表現は、医療画像や衛星画像セグメンテーションのような非標準データセットでは一般化が著しく劣り、性能が著しく低下する。
• 自己教師あり表現は、データが限られている状況でも、多くの少サンプルタスクでImageNet事前学習を上回る一貫した性能を示す。
• 生成モデルは競争力のある表現を生成するが、その性能はアーキテクチャや学習目的に強く依存する。
• ラベルが利用可能であっても、自己教師あり学習が測定可能な利点をもたらすため、教師あり事前学習だけでは得られない有用なインダクティブバイアスを捉えていることが示唆される。
• ベンチマークは、タスク間で顕著な性能格差を明らかにした。これは、表現学習におけるより良い一般化能力の必要性を強調している。
• すべてのタスクで最も優れた表現が1つに限らないことから、タスク固有の適応と評価の重要性が浮き彫りになった。