[論文レビュー] Effective Evaluation of Deep Active Learning on Image Classification Tasks

Nathan Beck, Durga Sivasubramanian+3 more|arXiv (Cornell University)|Jun 16, 2021

Machine Learning and Algorithms被引用数 8

ひとこと要約

本論文は、オープンソースのDISTILツールキットを用いて、最先端の深層アクティブラーニング（AL）アルゴリズムを統一的に再実装し、データオーグメンテーションとSGDを用いた標準化された条件下でその性能を評価している。ALはランダムサンプリングに比べてラベリング効率が2倍から4倍向上しており、データに冗長性がない場合には、複雑な多様性ベースの手法（例：Badge）よりも不確実性サンプリングが優れていることが判明した。

ABSTRACT

With the goal of making deep learning more label-efficient, a growing number of papers have been studying active learning (AL) for deep models. However, there are a number of issues in the prevalent experimental settings, mainly stemming from a lack of unified implementation and benchmarking. Issues in the current literature include sometimes contradictory observations on the performance of different AL algorithms, unintended exclusion of important generalization approaches such as data augmentation and SGD for optimization, a lack of study of evaluation facets like the labeling efficiency of AL, and little or no clarity on the scenarios in which AL outperforms random sampling (RS). In this work, we present a unified re-implementation of state-of-the-art AL algorithms in the context of image classification via our new open-source AL toolkit DISTIL, and we carefully study these issues as facets of effective evaluation. On the positive side, we show that AL techniques are $2\ imes$ to $4\ imes$ more label-efficient compared to RS with the use of data augmentation. Surprisingly, when data augmentation is included, there is no longer a consistent gain in using BADGE, a state-of-the-art approach, over simple uncertainty sampling. We then do a careful analysis of how existing approaches perform with varying amounts of redundancy and number of examples per class. Finally, we provide several insights for AL practitioners to consider in future work, such as the effect of the AL batch size, the effect of initialization, the importance of retraining the model at every round, and other insights.

研究の動機と目的

• 深層学習の文献におけるアクティブラーニング（AL）の評価に見られる一貫性の欠如（実装の違い、ベースラインの違い、トレーニング手法の違い）を是正すること。
• データオーグメンテーション、最適化手法の選択（SGD対Adam）、モデルの再トレーニング戦略がALのパフォーマンスおよびラベリング効率に与える影響を調査すること。
• データの冗長性やクラスのバランスに応じて、Badgeのような高度なAL手法が単純な不確実性サンプリングを上回る状況を特定すること。
• バッチサイズ、シードセットの初期化、トレーニング効率に関する実用的なガイドラインをALの実務家に提供すること。
• ALの計算コストとスケーラビリティを分析すること。具体的には、トレーニング時間と選択時間、エネルギー消費量を評価すること。

提案手法

• DISTILツールキットを用いて、統一的かつモジュラーなフレームワークで12の最先端ALアルゴリズムを再実装し、実験条件の一貫性を確保した。
• すべての実験にわたり、データオーグメンテーションとSGDを適用することで、モデルの汎化性能を向上させ、先行研究との公平な比較を実現した。
• CIFAR-10やCIFAR-100などの複数の画像分類データセットを用い、標準化されたトレーニングおよび評価プロトコルに従ってALのパフォーマンスを評価した。
• 各ALラウンドでモデルを再トレーニングから始めることと、前回のラウンドからの更新を行うことの影響を比較して評価した。
• 精度を保持したままトレーニングを高速化するために、Grad-Matchを用いてデータサブセット選択を実施した。
• トレーニング時間と選択時間を測定し、計算効率および炭素排出量の分析を行った。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションは、画像分類におけるアクティブラーニングのラベリング効率とテスト精度を顕著に向上させるか？
• RQ2 データオーグメンテーションとSGDを用いた場合、Badgeのような多様性ベースのAL手法が単純な不確実性サンプリング（例：エントロピーまたは最小信頼度）を常に上回る性能を示すか？
• RQ3 データの冗長性（例：繰り返しまたはほぼ同一のサンプル）が、不確実性サンプリングと多様性ベース手法の相対的パフォーマンスに与える影響は何か？
• RQ4 モデルの再トレーニング戦略（リセット対更新）がALのパフォーマンスおよび収束に与える影響は何か？
• RQ5 ALのバッチサイズと初期シードセットの構成が、ラベリング効率と最終的な精度に与える影響は何か？

主な発見

• データオーグメンテーションとSGDを適用した場合、CIFAR-10のような標準データセットにおいて、アクティブラーニングはランダムサンプリングに比べてラベリング効率が2倍から4倍向上した。
• データオーグメンテーションを適用した場合、最先端のBadge手法が単純な不確実性サンプリング（例：エントロピーまたは最小信頼度）を上回る一貫した性能優位性を示さなかった。
• Badgeは、データの冗長性が高い場合（例：繰り返しやオーグメント済みのサンプル）にのみ不確実性サンプリングを上回る性能を示し、その価値は文脈依存であることが判明した。
• 各クラスのサンプル数が少ない場合、ラベリング効率が著しく低下し、長尾分布や不均衡な設定ではALの利点が制限される。
• 後続のALラウンドにおいて、前回のラウンドからの更新と、初期状態からの再トレーニングの両者でテスト精度に統計的に有意な差は認められなかった。
• トレーニング時間はALパイプラインのコストの大部分を占めていたが、データサブセット選択（例：Grad-Match）とモデル更新を組み合わせることで、トレーニング時間を最大で3倍、1.07倍まで短縮でき、精度の損失は最小限に抑えられた。