[論文レビュー] Minimax Active Learning

Sayna Ebrahimi, William Gan+6 more|arXiv (Cornell University)|Dec 18, 2020

Machine Learning and Algorithms参考文献 68被引用数 16

ひとこと要約

本稿では、不確実性と多様性をミニマックスフレームワーク内で統合することで、ラベルなしデータのエントロピーを最小化する特徴エンコーダと、ラベルありデータのエントロピーを最大化する分類器を同時に学習する、半教師ありプールベースのアクティブラーニング手法である Minimax Active Learning (MAL) を提案する。MAL は、敵対的訓練を用いてタスクに適した不確実性とラベル付き度に基づく多様性を統合的に活用することで、画像分類およびセマンティックセグメンテーションのベンチマークで最先端の手法を上回る性能を発揮する。

ABSTRACT

Active learning aims to develop label-efficient algorithms by querying the most representative samples to be labeled by a human annotator. Current active learning techniques either rely on model uncertainty to select the most uncertain samples or use clustering or reconstruction to choose the most diverse set of unlabeled examples. While uncertainty-based strategies are susceptible to outliers, solely relying on sample diversity does not capture the information available on the main task. In this work, we develop a semi-supervised minimax entropy-based active learning algorithm that leverages both uncertainty and diversity in an adversarial manner. Our model consists of an entropy minimizing feature encoding network followed by an entropy maximizing classification layer. This minimax formulation reduces the distribution gap between the labeled/unlabeled data, while a discriminator is simultaneously trained to distinguish the labeled/unlabeled data. The highest entropy samples from the classifier that the discriminator predicts as unlabeled are selected for labeling. We evaluate our method on various image classification and semantic segmentation benchmark datasets and show superior performance over the state-of-the-art methods.

研究の動機と目的

• 不確実性のみ、または多様性のみに依存するアクティブラーニングの限界を克服し、両者を統合した統一フレームワークを構築すること。
• データの不均衡や代表されないクラスにおける性能の低さが一般的な現実世界の設定において、ラベルコストを低減すること。
• 敵対的表現学習を用いた半教師あり学習により、ラベル付きデータとラベルなしデータの両方を活用することでアクティブラーニングの性能を向上させること。
• ラベル付きデータからの多様性（ラベル付き度）とタスクプロトタイプに対する不確実性の両方を考慮したハイブリッドサンプリング戦略を開発すること。
• ラベル付きデータとラベルなしデータの両方を用いた半教師あり学習に加え、ラベル付き度の敵対的識別を組み合わせることで、教師ありまたは完全に教師なしのベースラインを上回る性能が得られることを示すこと。

提案手法

• ラベルなしデータの特徴のエントロピーを最小化するように特徴エンコーダ F を学習し、ラベルなしデータのクラスタが凝縮されるように促進する。
• コサイン類似度に基づく分類器 C を使用し、ラベルなしデータのエントロピーを最大化することで、サンプルがクラスプロトタイプから離れるように促進する。
• ラベルあり特徴とラベルなし特徴を区別するようにディスクラミネータ D を学習し、各サンプルに対してラベル付き度スコアを学習する。
• 分類器のエントロピーが高く、D がそのサンプルがラベルなしであると高い信頼度で予測するサンプルを選択し、不確実性と多様性を組み合わせる。
• F がエントロピーを最小化し、C がそれを最大化し、D がラベルありとラベルなしを区別するというミニマックス目的関数により、全体のシステムを最適化する。
• ラベル付きデータに対してクロスエントロピー損失、ラベルなしデータに対してエントロピー最小化を用いて、同時に学習することで半教師あり学習を実装する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングにおいて不確実性と多様性を統合することは、単独で用いる場合よりも優れた性能をもたらすか？
• RQ2 特徴エンコーダとディスクラミネータの間で行う敵対的訓練は、アクティブラーニングにおける表現学習をどのように改善するか？
• RQ3 ラベルなしデータに対してエントロピー最小化を適用する半教師あり学習は、教師ありベースラインと比較して、アクティブラーニングの性能を顕著に向上させるか？
• RQ4 ラベル付き度（多様性）と分類器のエントロピー（不確実性）の両方を考慮したハイブリッドサンプリング戦略は、純粋な不確実性または多様性ベースのサンプリングを上回るか？
• RQ5 本手法は、ResNet18 と VGG16 のようなバックボーンアーキテクチャの変化に対してどれほど頑健か？

主な発見

• ImageNet において MAL は 20% のラベル付きデータでトップ-1 正解率 52.9% を達成し、SSL-Div (50.0%) や SSL-Unc (49.5%) の各バリアントを顕著に上回った。
• BDD100K において MAL は 25% のラベル付きデータで 45.3% の mIoU を達成し、SSL-Div (43.1%) や SSL-Unc (42.8%) を 2.2 パーセンテージポイント以上上回った。
• VGG16-BN を用いた MAL は、CIFAR100 で 8% のラベル付きデータで 49.5% の正解率を達成し、VAAL (47.9%) を 1.6 パーセンテージポイント上回った。
• ResNet18 を用いた MAL は、CIFAR100 で 8% のラベル付きデータで 43.4% の正解率を達成し、VAAL (40.9%) を 2.5 パーセンテージポイント上回った。
• アブレーションスタディの結果、敵対的ラベル付き度予測を伴う半教師あり学習が最も大きな性能向上をもたらし、共同最適化の有効性を裏付けた。
• 本手法はバックボーンアーキテクチャの選択に対して頑健であり、CIFAR100 においても ResNet18 および VGG16-BN の両方で VAAL を一貫して上回った。