[論文レビュー] Active Learning on a Budget: Opposite Strategies Suit High and Low Budgets

Guy Hacohen, Avihu Dekel+1 more|arXiv (Cornell University)|Feb 6, 2022

Machine Learning and Algorithms被引用数 32

ひとこと要約

この論文は、アクティブ・ラーニングにおけるフェーズ転移様の挙動を示しており、典型的（代表的）サンプルは低予算の下で最適であり、非代表的サンプルは大きな予算でより有用になることを示す。低予算用の TypiClust を導入し、特に半教師あり設定で強力な利益を示す。

ABSTRACT

Investigating active learning, we focus on the relation between the number of labeled examples (budget size), and suitable querying strategies. Our theoretical analysis shows a behavior reminiscent of phase transition: typical examples are best queried when the budget is low, while unrepresentative examples are best queried when the budget is large. Combined evidence shows that a similar phenomenon occurs in common classification models. Accordingly, we propose TypiClust -- a deep active learning strategy suited for low budgets. In a comparative empirical investigation of supervised learning, using a variety of architectures and image datasets, TypiClust outperforms all other active learning strategies in the low-budget regime. Using TypiClust in the semi-supervised framework, performance gets an even more significant boost. In particular, state-of-the-art semi-supervised methods trained on CIFAR-10 with 10 labeled examples selected by TypiClust, reach 93.2% accuracy -- an improvement of 39.4% over random selection. Code is available at https://github.com/avihu111/TypiClust.

研究の動機と目的

• 研究の動機づけとして、深層モデルにおける予算サイズとアクティブ・ラーニングのクエリ戦略を結びつける。
• サンプリングする典型的な領域と非典型的な領域の間に、転換点のような挙動を示す理論的枠組みを構築する。
• 低予算のアクティブ・ラーニングのために TypiClust を提案し、アーキテクチャとデータセットを跨いだ性能を評価する。
• TypiClust が SSL フレームワークと組み合わせた場合に半教師付き手法の性能を著しく向上させることを示す。

提案手法

• データを、各領域で独立した学習器が学習する二つの領域の混合としてモデル化する。
• 予算が変化する（低予算対高予算）に応じて、過サンプリングする領域を決定するエラースコアベースの閾値を導出する。
• 線形分類器が振動的/振動しないエラースコア条件を満たすことを示し、ニューラルモデルについては実証的証拠を提供する。
• TypiClust: 自己 supervise 表現と密度ベースの典型性を用いて、多様で代表的なサンプルを選択する典型クラスタリングを提案する。
• 完全教師あり学習、自己教師付き埋め込み、および半教師付き設定において、CIFAR-10/100、TinyImageNet、ImageNet のサブセットを横断して TypiClust を一般的な AL ベースラインと対比して評価する。

実験結果

リサーチクエスチョン

• RQ1 アクティブ・ラーニングは、低予算と高予算という regime 固有の最適なクエリ戦略を示すか。
• RQ2 低予算領域で、典型的・代表的サンプルを強調する戦略は、不確実性ベースの手法より優れるか。
• RQ3 TypiClust はさまざまなデータセットとアーキテクチャで標準的な AL ベースラインを上回るか。
• RQ4 TypiClust は半教師付き学習とどのように相互作用して、ラベルが不足しているときに性能を向上させるか。

主な発見

• 理論的には、AL の予算閾値が、低予算で容易な領域を過サンプリングするか、高予算で難しい領域を過サンプリングするかを決定する。
• TypiClust は、複数のデータセットとアーキテクチャにわたり低予算域で常にすべてのベースラインを上回る。
• 半教師付き設定では、TypiClust はランダムなラベル選択よりも大きな性能向上をもたらし、例えばラベルが非常に少ない場合の CIFAR-10 で著しいブーストを示す。
• TypiClust は、ラベル付き例が 10 の CIFAR-10 で訓練された場合、93.2% の精度を達成し、ランダムより 39.4% の改善を達成するなど、最先端の半教師付き性能を実現する。
• 実証結果は、多くの従来の AL 戦略が低予算域で性能を下回るか低下させる一方、TypiClust は堅牢であることを示している。
• このアプローチは自己教師付き表現を典型性の定義に活用し、クラスタリングを用いて多様性を確保することで、初期プール選択を効果的に行える。