[論文レビュー] Combining MixMatch and Active Learning for Better Accuracy with Fewer Labels

Shuang Song, David Berthelot+1 more|arXiv (Cornell University)|Dec 2, 2019

Machine Learning and Algorithms参考文献 24被引用数 18

ひとこと要約

この論文は、最先端の半教師あり学習手法であるMixMatchをアクティブラーニングと組み合わせることで、少ないラベル付き例で著しく高い精度を達成する。不確実性サンプリング（diff2不確実性測度を用いて）により反復的に情報量の多いラベルなしサンプルを選択することで、提案されたMMAフレームワークは、CIFAR-10、CIFAR-100、SVHNで最大1.5%の絶対的精度向上を達成し、ラベル付けコストを大幅に削減した。

ABSTRACT

We propose using active learning based techniques to further improve the state-of-the-art semi-supervised learning MixMatch algorithm. We provide a thorough empirical evaluation of several active-learning and baseline methods, which successfully demonstrate a significant improvement on the benchmark CIFAR-10, CIFAR-100, and SVHN datasets (as much as 1.5% in absolute accuracy). We also provide an empirical analysis of the cost trade-off between incrementally gathering more labeled versus unlabeled data. This analysis can be used to measure the relative value of labeled/unlabeled data at different points of the learning curve, where we find that although the incremental value of labeled data can be as much as 20x that of unlabeled, it quickly diminishes to less than 3x once more than 2,000 labeled example are observed. Code can be found at https://github.com/google-research/mma.

研究の動機と目的

• アクティブラーニング技術を統合することで、MixMatch半教師あり学習アルゴリズムの性能を向上させること。
• 特に不確実性サンプリングを含むさまざまなアクティブラーニング戦略がMixMatchと組み合わせた際の有効性を評価すること。
• 訓練中に追加のラベル付きデータとラベルなしデータを取得する際のコスト・ベネフィットのトレードオフを分析すること。
• 特に予算制約下での学習曲線の各段階におけるラベル付きデータとラベルなしデータの相対的価値を特定すること。
• 現実のラベル付けコストを想定した半教師あり学習における最適なデータ取得戦略についての実証的指針を提供すること。

提案手法

• モデルの信頼度に基づき、反復的に予測不確実性が最も高いサンプルをラベル付け対象として選択することで、強力な半教師あり学習手法であるMixMatchとアクティブラーニングを統合する。
• ラベルなし例の予測不確実性を特定するためにdiff2不確実性測度を用い、ラベル付けの優先順位を決定する。
• 特にSVHNのようなクラス不均衡を示すデータセットにおいて重要な、クラスのバランスを保つためにk-meansに基づく多様性戦略を採用する。
• 初期に小さなラベル付き例のセットでモデルを訓練し、各イテレーションで50件のサンプルを追加してラベル付きセットを拡大し、追加後に再訓練する。
• 両方のデータ（ラベル付きおよびラベルなし）を用いて一般化性能を向上させるために、データ拡張と一貫性正則化をMixMatchに適用する。
• 精度測定値の線形補間を実行して、与えられたラベル付きデータサイズに対して目標精度に達するのに必要なラベルなしサンプル数を推定し、コスト比分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングをMixMatchと組み合わせることで、CIFAR-10、CIFAR-100、SVHNといった標準ベンチマーク上でのモデル精度にどのような影響を与えるか？
• RQ2 MixMatchと組み合わせた場合、不確実性サンプリング、コミットメントによる照会、ランダム選択のうち、どのアクティブラーニング戦略が最も優れたパフォーマンスを示すか？
• RQ3 学習曲線の異なる段階において、ラベル付きデータの追加的価値がラベルなしデータの価値に対してどのように変化するか？
• RQ4 SVHNのようなデータセットにおけるクラス不均衡が、MixMatchと組み合わせたアクティブラーニングのパフォーマンスにどのような影響を与えるか？
• RQ5 追加のラベル付きデータをラベルなしデータよりも多く取得する際の限界的利益が、どの段階で減少し始めるか？

主な発見

• diff2測度を用いた不確実性サンプリングとMixMatchを統合したMMAフレームワークは、CIFAR-10、CIFAR-100、SVHNでMixMatch単体よりも最大1.5%の絶対的精度向上を達成した。
• 4000ラベル付き例の予算でSVHNでは97.39%の精度を達成し、完全な訓練セットの精度（97.41%）からわずか0.02%しか低下せず、ラベル付き例を18.31倍も削減した。
• k-meansによる多様性戦略は直接選択より優れた性能を示し、特に不均衡なデータセットにおいてクラスバランスの取れたサンプリングがパフォーマンス向上に寄与することを示唆している。
• 2000個を超えるラベル付き例を使用するようになると、ラベル付けコストとラベルなしデータ取得コストの比はピークの20倍から3倍未満に低下し、ラベル付けのリターンが減少していることが示された。
• SVHNではコスト比が一時的に0未満に下がったが、これはラベルなしデータが常にラベル付きデータよりも価値が高かったことを示しており、|L| ≪ |U|の仮定が破綻した可能性がある。
• 分析から、非常に小さなラベル付きデータセットからスタートする際、ラベル付けが最も価値があることが示され、2000個を超えるラベル付き例を越えると限界的利益は急速に低下することが分かった。