[論文レビュー] Batch Active Learning at Scale

Gui Citovsky, Giulia DeSalvo+5 more|arXiv (Cornell University)|Jul 29, 2021

Machine Learning and Algorithms参考文献 23被引用数 47

ひとこと要約

クラスタ-マージンを導入。階層的クラスタリングを用いて低信頼サンプルの大規模バッチを多様化するスケーラブルなバッチアクティブラーニング手法で、100K〜1Mのバッチサイズで顕著なラベル効率を達成します。

ABSTRACT

The ability to train complex and highly effective models often requires an abundance of training data, which can easily become a bottleneck in cost, time, and computational resources. Batch active learning, which adaptively issues batched queries to a labeling oracle, is a common approach for addressing this problem. The practical benefits of batch sampling come with the downside of less adaptivity and the risk of sampling redundant examples within a batch -- a risk that grows with the batch size. In this work, we analyze an efficient active learning algorithm, which focuses on the large batch setting. In particular, we show that our sampling method, which combines notions of uncertainty and diversity, easily scales to batch sizes (100K-1M) several orders of magnitude larger than used in previous studies and provides significant improvements in model training efficiency compared to recent baselines. Finally, we provide an initial theoretical analysis, proving label complexity guarantees for a related sampling method, which we show is approximately equivalent to our sampling method in specific settings.

研究の動機と目的

• 大規模モデルの訓練におけるデータラベル付けのボトルネックを動機づけ、実践的な解決策としてバッチアクティブラーニングを提唱します。
• 非常に大規模なバッチサイズを扱うために、不確実性（マージン）とクラスタリングによる多様性を組み合わせたスケーラブルなサンプリング手法を提案します。
• 大規模マルチラベルデータセットおよび小規模マルチクラスデータセットにおいて、ベースラインよりも顕著なラベル効率の改善を実証します。
• Cluster-Margin に関連するボリュームベースのサンプリング概念を理論的に分析し、特定の分布下でのラベル複雑さの保証について議論します。

提案手法

• Cluster-Margin はマージンスコアを用いて低信頼なサンプル集合を選択し、埋め込み空間上の階層的凝集クラスタリング（HAC）を用いて未ラベルプールを多様化します。
• HAC は未ラベルデータ全体に対して前処理として一度だけ実行されます。以降は、低マージンサンプルに represented されるクラスタを横断してローテーション方式でサンプリングを行います。
• マージンサインはトップ2クラス確率の差として定義されます。
• 各イテレーションで、ターゲットバッチ k_t は選択されたクラスタの各クラスタからランダムに1つずつサンプルを取り、k_t に達するまで抽出します。
• クラスタリングと埋め込みのステップは、非常に大規模な n（例: ~9M 枚の Open Images のようなデータ）に対しても各イテレーションの計算を実現可能な範囲に保つよう設計されています。
• 関連する理論的議論は beta 効率的なボリュームベースのサンプラーを導入し、特定の分布条件下で Cluster-Margin に結びつくことでラベル複雑さの利点を生みうることを示唆します。

実験結果

リサーチクエスチョン

• RQ1 非常に大規模なバッチサイズ（10^5–10^6）でも情報量と多様性を損なうことなく、バッチアクティブラーニングをどのようにスケーリングできるか？
• RQ2 不確実性（マージン）と HAC ベースのクラスタリングによる多様性を組み合わせることは、Open Images のような大規模データセットおよび CIFAR10/100 や SVHN のような小規模データセットで、BADGE、CoreSet、Margin などの既存ベースラインに対してラベル効率を改善するか？
• RQ3 前処理の HAC ステップは、複数のイテレーションにわたり速度アップを持続さつつ性能を維持・向上できるか？
• RQ4 Cluster-Margin と体積ベースサンプリングの低次元埋め込み空間における理論的保証や関係性は何か？

主な発見

• Cluster-Margin は Open Images において 100K および 1M のバッチサイズでベースラインに対して顕著なラベル効率の向上を達成し、次点手法と比較して最大で約 60% のラベル削減を実現します（1M 設定）。
• Open Images で、Cluster-Margin は約 920K のラベル付き例で同程度の性能を達成する一方、Margin は約 1.3M が必要であり、同じ目標に対して約 29% 少ないラベルで達成します（100K バッチサイズ）。
• 小規模データセット CIFAR10/100 および SVHN の実験では、Cluster-Margin はベースラインに対して競争力があり、ほとんどの設定で CoreSet および BADGE を上回ります。
• 関連する Cluster-MarginV 手法の理論分析は、beta 効率的なボリュームベースのサンプリングが低次元埋め込み空間でラベル複雑さを約 d/log(k) の因子で削減できることを示し、特定の条件下で Cluster-Margin へ結びつきます。
• ベースライン間で、Margin サンプリングが時折強いことがあるものの、大規模バッチ Open-Image 実験においては Cluster-Margin が一貫して他を上回ります。