[論文レビュー] A Comparative Survey of Deep Active Learning

Xueying Zhan, Qingzhong Wang+4 more|arXiv (Cornell University)|Mar 25, 2022

Machine Learning and Algorithms被引用数 48

ひとこと要約

本論文は 19 個の DAL 手法を DeepAL+ ツールキットに再実装し、包括的なデータセット横断比較を実施し、バッチサイズや学習エポック数などの要因を分析して、公正で効果的な DAL 実験を導く。

ABSTRACT

While deep learning (DL) is data-hungry and usually relies on extensive labeled data to deliver good performance, Active Learning (AL) reduces labeling costs by selecting a small proportion of samples from unlabeled data for labeling and training. Therefore, Deep Active Learning (DAL) has risen as a feasible solution for maximizing model performance under a limited labeling cost/budget in recent years. Although abundant methods of DAL have been developed and various literature reviews conducted, the performance evaluation of DAL methods under fair comparison settings is not yet available. Our work intends to fill this gap. In this work, We construct a DAL toolkit, DeepAL+, by re-implementing 19 highly-cited DAL methods. We survey and categorize DAL-related works and construct comparative experiments across frequently used datasets and DAL algorithms. Additionally, we explore some factors (e.g., batch size, number of epochs in the training process) that influence the efficacy of DAL, which provides better references for researchers to design their DAL experiments or carry out DAL-related applications.

研究の動機と目的

• Deep Active Learning (DAL) 手法をラベリング予算のもとで公正かつ包括的に評価することを動機づける。
• DeepAL+ で主要な DAL 手法を再実装し、再現性のある DAL ベンチマークプラットフォームを提供する。
• querying 戦略（不確実性、代表性/多様性、組み合わせ）および改善技術を用いて DAL 手法を概説する。
• トレーニング設定（エポック数、バッチサイズ）とデータ/モデル強化が DAL パフォーマンスに与える影響を、タスク横断で評価する。
• 公正な DAL 実験設計のガイドラインを提供し、課題と今後の研究方向性を明らかにする。

提案手法

• DeepAL+ ツールキット内で 19 個の高被引用 DAL 手法を再実装する。
• ラベル付き集合 LC と未ラベル集合 LU を用いたプールベースのアクティブ学習定式化。
• 公平な比較を確保するために、従来のバックボーン（例：ResNet18）を用いた分類タスク。
• querying 戦略を、不確実性ベース、代表性/多様性ベース、組み合わせアプローチのカテゴリに分類する。
• 複数のデータセット（例：MNIST、FashionMNIST、EMNIST、SVHN、CIFAR 系、TinyImageNet、BreakHis、Pneumonia-MNIST、Waterbird）で評価。
• 訓練エポック数とバッチサイズの影響、タイミングとメモリ要件、事前学習の影響を分析するアブレーション研究。

実験結果

リサーチクエスチョン

• RQ1 異なる DAL querying 戦略（不確実性ベース、代表性ベース、組み合わせ）が、等しい訓練・予算条件下でどう比較されるか？
• RQ2 訓練のハイパーパラメータ（エポック数、バッチサイズ）が DAL パフォーマンスにタスク横断で与える影響はどの程度か？
• RQ3 データ/モデルの強化技術（疑似ラベリング、データ拡張、アンサンブル、ロス関数の改良）は、データセット間で一貫して DAL パフォーマンスを向上させるか？
• RQ4 事前学習は、ずれた相関や意味論が異なるタスク（例：Waterbird、MNIST）における DAL 手法の効果に影響するか？

主な発見

• 不確実性ベースの DAL 手法は、標準の画像分類タスクにおいて Random より平均で約 1-3% の modest な改善を示すが、すべてのデータセットで単一手法が支配的ではない。
• Two-stage および勾配ベースの手法（例：BADGE、WAAL）は、特に CIFAR100 のタスクで有利なトレードオフを示し、競争力のある性能を示す。
• 代表性/多様性の手法（KMeans、VAAL、VAAL の派生）は、しばしば高いメモリ・時間コストを伴い、いくつかのデータセットで不確実性ベース手法ほど一貫した利得を提供しない。
• 事前学習は、より良い特徴表現を提供することで、一部のケース（例：Waterbird）で DAL パフォーマンスを改善できるが、データセットとタスクによって効果は異なる。
• アブレーション研究は、より多くの訓練エポックが一部の手法で性能を向上させることを示すが、利得には頭打ちが見られる。バッチサイズは、より大きなバッチが反復頻度の利点を低減する場合があり、影響は一定ではない。
• 強化された DAL アプローチ（LPL、WAAL、AdvBIM、CEAL）は潜在力を示すが、ハイパーパラメータとデータセット特性に敏感で、タスクごとに混在した結果となる。