[論文レビュー] BatchBALD: Efficient and Diverse Batch Acquisition for Deep Bayesian Active Learning

Andreas Kirsch, Joost van Amersfoort+1 more|arXiv (Cornell University)|Jun 19, 2019

Machine Learning and Algorithms参考文献 34被引用数 192

ひとこと要約

BatchBALD は、ラベルのバッチとモデルパラメータ間の相互情報をモデル化して、貪欲な 1-1/e 近似獲得関数を提供し、バッチの多様性を共同で選択することで深層ベイズアクティブラーニングにおける BALD よりデータ効率を改善します。

ABSTRACT

We develop BatchBALD, a tractable approximation to the mutual information between a batch of points and model parameters, which we use as an acquisition function to select multiple informative points jointly for the task of deep Bayesian active learning. BatchBALD is a greedy linear-time $1 - \frac{1}{e}$-approximate algorithm amenable to dynamic programming and efficient caching. We compare BatchBALD to the commonly used approach for batch data acquisition and find that the current approach acquires similar and redundant points, sometimes performing worse than randomly acquiring data. We finish by showing that, using BatchBALD to consider dependencies within an acquisition batch, we achieve new state of the art performance on standard benchmarks, providing substantial data efficiency improvements in batch acquisition.

研究の動機と目的

• 深層学習におけるアクティブ学習を通じたデータ効率の動機づけ。
• 依存性とバッチ内の多様性を考慮してデータ点のバッチを共同選択するために BALD を拡張する。
• 実行可能なアルゴリズムを提供し、多様で情報量の多いバッチを保証とともに得る。
• 標準的な画像データセットにおいてデータ効率と訓練速度の改善を実証する。

提案手法

• BatchBALD を、データバッチを前提としたラベルのバッチとモデルパラメータ間の相互情報として定義する。
• バッチを効率的に選択する貪欲な 1-1/e 近似アルゴリズムを提案する（Algorithm 1）。
• 独立した BALD スコアを単純に和るのではなく、 μ*(⋃ yi ∩ ω) の情報の和集合を用いることでバッチ情報の重複を減らすことを示す。
• ω の k サンプルとジョイントエントロピーのMC推定を用いて BatchBALD スコアを計算するモンテカルロ推定量を導出する。
• 大きなバッチに対応するために p(y1:n|ω) の分解とキャッシュ / 行列演算を用いて効率的な計算を実装する。
• BatchBALD が扱える複雑さの境界を提供し、実行可能であることを示す（O(b c min{c^b, m} |D_pool| k）。

実験結果

リサーチクエスチョン

• RQ1 BatchBALD は獲得バッチ内の結合情報と多様性を考慮することで、ナイーブな BALD と比較してデータ効率を改善するのか？
• RQ2 貪欲な 1-1/e 近似 BatchBALD バッチ選択は、計算的に実現可能でほぼ最適な性能を達成できるのか？
• RQ3 BatchBALD は標準的な AL ベンチマーク（MNIST, EMNIST）および転移学習（CINIC-10）で BALD およびランダム獲得と比べてどのように性能を示すのか？
• RQ4 バッチサイズが深層ベイズアクティブラーニングの多様性と訓練効率に与える影響はどの程度か？
• RQ5 BatchBALD の性能に影響を与える実装上の現実的な考慮事項（MC ドロップアウトの一貫性、再初期化、計算量など）は何か？

主な発見

• BatchBALD は獲得サイズが増えると BALD よりも優れた性能を示し、より大きなバッチでも強い性能を維持する。
• BatchBALD は取得データの多様性を高め、予測クラス分布の多様性も高める（EMNIST の結果）。
• MNIST では獲得サイズ 10 の BatchBALD が獲得サイズ 1 の理想的な BALD に近い性能を示し、全体として BALD のサイズ 1 よりも高速。
• BatchBALD は MNIST、EMNIST、CINIC-10 の転移学習実験でデータ効率を改善し、BALD およびランダム獲得と比較して優位。
• 単純な BALD バッチは複製データ設定で性能が低下する可能性がある一方、BatchBALD はデータの重複や複製に対して頑健。