[論文レビュー] Deep Active Learning with Augmentation-based Consistency Estimation

SeulGi Hong, Heonjin Ha+2 more|arXiv (Cornell University)|Nov 5, 2020

Machine Learning and Algorithms参考文献 22被引用数 4

ひとこと要約

本論文は、データ拡張に基づく一貫性推定を統合したディープアクティブラーニングフレームワークを提案する。CutoutとCutMixを定量的正則化損失および不確実性指標として再定義することにより、多様なデータセットおよびラベル付きデータの予算条件下でもモデルの汎化性能が向上し、既存の不確実性サンプリング戦略と組み合わせて一貫した性能向上を達成する。

ABSTRACT

In active learning, the focus is mainly on the selection strategy of unlabeled data for enhancing the generalization capability of the next learning cycle. For this, various uncertainty measurement methods have been proposed. On the other hand, with the advent of data augmentation metrics as the regularizer on general deep learning, we notice that there can be a mutual influence between the method of unlabeled data selection and the data augmentation-based regularization techniques in active learning scenarios. Through various experiments, we confirmed that consistency-based regularization from analytical learning theory could affect the generalization capability of the classifier in combination with the existing uncertainty measurement method. By this fact, we propose a methodology to improve generalization ability, by applying data augmentation-based techniques to an active learning scenario. For the data augmentation-based regularization loss, we redefined cutout (co) and cutmix (cm) strategies as quantitative metrics and applied at both model training and unlabeled data selection steps. We have shown that the augmentation-based regularizer can lead to improved performance on the training step of active learning, while that same approach can be effectively combined with the uncertainty measurement metrics proposed so far. We used datasets such as FashionMNIST, CIFAR10, CIFAR100, and STL10 to verify the performance of the proposed active learning technique for multiple image classification tasks. Our experiments show consistent performance gains for each dataset and budget scenario.

研究の動機と目的

• 異なるデータセットおよびラベル付きデータの予算条件下でのアクティブラーニング手法の一般化性能が限定的であるという問題に取り組む。
• 特にCutoutおよびCutMixを含む、データ拡張に基づく正則化技術をアクティブラーニングに統合し、モデルのロバストネスを向上させる。
• 解析的学習理論を用いて、一貫性に基づく正則化および不確実性推定を再定義し、ディープアクティブラーニングにおける性能を向上させる。
• データ拡張に基づく正則化が既存の不確実性サンプリング手法と相乗効果をもたらし、一貫した性能向上をもたらすことを示す。
• 複数の画像分類ベンチマーク（FashionMNIST、CIFAR10、CIFAR100、STL10）を用いて、さまざまな予算制約下での手法の妥当性を検証する。

提案手法

• アクティブラーニングにおけるモデル学習中に使用可能な、微分可能で定量的な一貫性に基づく正則化損失としてCutoutおよびCutMixを再定式化する。
• 未ラベルデータの拡張されたビュー間の予測のばらつきを測定することで、データ拡張に基づく不確実性推定を導入し、選択を支援する。
• すべてのアクティブラーニングサイクルにおいて、モデル学習と未ラベルデータ選択の両方で正則化と不確実性推定を適用する。
• 解析的学習理論を用いて、データ拡張下での関数の変動が一般化誤差と相関することを正当化し、一貫性推定を可能にする。
• 提案された正則化損失を標準的な不確実性サンプリング手法（例：エントロピー、マージン）と組み合わせ、性能を向上させる。
• 拡張済みデータを用いたミニバッチでモデルを学習し、一貫性（正則化による）と不確実性に配慮した選択の両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張に基づく一貫性推定は、ディープアクティブラーニングにおける一般化性能の向上に寄与するか？
• RQ2 データ拡張に基づく正則化と不確実性サンプリングを組み合わせた場合、さまざまなデータセットにおける性能にどのような影響を与えるか？
• RQ3 提案手法は、ラベル付きデータの予算制約が変化しても性能向上を維持するか？
• RQ4 提案された一貫性に基づく正則化は、既存の不確実性測定手法と効果的に組み合わせられるか？
• RQ5 クラスの不均衡やデータ不足が異なる多様な画像分類データセットにおいて、性能向上が一貫して得られるか？

主な発見

• 提案手法は、FashionMNIST、CIFAR10、CIFAR100、STL10のすべての評価済みデータセットにおいて、さまざまなラベル付きデータの予算条件下で一貫した性能向上を達成した。
• データ拡張に基づく正則化と不確実性サンプリング（例：エントロピー、マージン）を組み合わせることで、ベースライン手法よりも顕著かつ安定した向上が得られた。
• クラスあたりの画像数が少ないCIFAR100およびSTL10においては、不確実性と正則化の組み合わせが、それぞれ単独で使用した場合よりも高い性能を達成した。
• 本手法は予算変動に対してロバストであり、ラベル付きデータの取得量が増えるに従い、特に提案された正則化を用いた場合に性能が着実に向上した。
• CutoutおよびCutMixを一貫性に基づく正則化子として統合することで、ランダムサンプリングや単独での使用に比べて一般化性能が向上した。
• 実験により、不確実性推定と正則化の相乗効果が不可欠であることが確認された。両者のいずれかを単独で使用した場合、性能向上は限定的であった。