[論文レビュー] Deep Bayesian Active Learning with Image Data

Yarin Gal, Riashat Islam+1 more|arXiv (Cornell University)|Mar 8, 2017

Machine Learning and Algorithms参考文献 29被引用数 577

ひとこと要約

この論文は、ベイズ CNNとMCドロップアウトを用いて不確実性を定量化する高次元画像データ向けのアクティブ学習フレームワークを提案し、MNISTおよび黒色腫診断におけるラベリング効率を、ベースラインおよび半教師あり手法と比較して改善する。

ABSTRACT

Even though active learning forms an important pillar of machine learning, deep learning tools are not prevalent within it. Deep learning poses several difficulties when used in an active learning setting. First, active learning (AL) methods generally rely on being able to learn and update models from small amounts of data. Recent advances in deep learning, on the other hand, are notorious for their dependence on large amounts of data. Second, many AL acquisition functions rely on model uncertainty, yet deep learning methods rarely represent such model uncertainty. In this paper we combine recent advances in Bayesian deep learning into the active learning framework in a practical way. We develop an active learning framework for high dimensional data, a task which has been extremely challenging so far, with very sparse existing literature. Taking advantage of specialised models such as Bayesian convolutional neural networks, we demonstrate our active learning techniques with image data, obtaining a significant improvement on existing active learning approaches. We demonstrate this on both the MNIST dataset, as well as for skin cancer diagnosis from lesion images (ISIC2016 task).

研究の動機と目的

• 高次元画像データに対するアクティブ学習の動機づけと、ラベリングコストの削減。
• 予測不確実性を表現するベイズCNNフレームワークの開発。
• 画像データにおける獲得関数（BALD、BALDの派生、エントロピー、変動比など）の評価。
• カーネルベースのAL、決定論的CNNのベースライン、および半教師あり手法と比較。
• ISIC 2016データを用いた黒色腫分類での実世界適用性を示す。

提案手法

• 重みの不確実性を近似する変分近似として、ドロップアウトを用いたベイズ畳み込みニューラルネットワークを用いる。
• 各層の前でドロップアウトを用いて学習し、推定時にMCドロップアウトを実行して近似事後分布からサンプルとる。
• モデルパラメータのMCサンプルを用いて、BALD、最大エントロピー、変動比、平均STD、ランダムなどの獲得関数を定義・近似する。
• 近似事後分布上のMC積分を介して、計算的に扱いやすいBALDおよび関連獲得推定量を導出する。
• 少数の初期ラベル付きデータと未ラベルデータのプールを用いてMNISTで獲得戦略を評価。
• ISIC 2016の黒色腫データで事前学習済みVGG16を微調整して、実世界の医療タスクにおけるアクティブ学習を評価。

実験結果

リサーチクエスチョン

• RQ1 MCドロップアウトを用いたベイズCNNは、高次元画像データにおけるアクティブ学習に信頼できる不確実性推定を提供できるか？
• RQ2 深層モデルを用いた場合、どの獲得関数（BALD、最大エントロピー、変動比など）がラベリングのデータ効率を最も高めるか？
• RQ3 画像分類タスクにおいて、アクティブ学習戦略はカーネルベースのALおよび半教師あり手法とどう比較されるか？
• RQ4 限定ラベル下での黒色腫病変分類におけるモデル不確実性とデータ不確実性（アレータリック）の影響はどうなるか？

主な発見

Table 1: MNIST acquisition steps and test error (%) by method	Table 2: MNIST test error with 1000 labeled samples across methods (percent)
10%	145	120	165	230	255
5%	335	295	355	695	835
Semi-supervised: Semi-sup. Embedding (Weston et al. 2012)	5.73%
Transductive SVM (Weston et al. 2012)	5.38%
MTC (Rifai et al. 2011)	3.64%
Pseudo-label (Lee, 2013)	3.46%
AtlasRBF (Pitelis et al. 2014)	3.68%
DGN (Kingma et al. 2014)	2.40%
Virtual Adversarial (Miyato et al. 2015)	1.32%
Ladder Network (Γ-model) (Rasmus et al. 2015)	1.53%
Ladder Network (full) (Rasmus et al. 2015)	0.84%
Random	4.66%
BALD	1.80%
Max Entropy	1.74%
Var Ratios	1.64%

• MNISTではBALD、Variation Ratios、Max EntropyがRandomやMean STDよりデータ効率が高く、目標誤差に達するために必要なラベルデータ量を削減する。
• MNISTではVariation Ratiosが収束を早める一方、Mean STDはより賢い獲得戦略と比べてしばしば劣る。
• 不確実性ベースの獲得を用いた場合、MCドロップアウト付きのベイズCNNは初期学習および最終精度で決定論的CNNを上回る。
• MNISTでのカーネルベースAL（MBR）と比較して、BALD/エントロピーを用いたCNNベースのALは、より少ないラベル付きサンプルで高精度を達成する。
• ISIC黒色腫データでBALDを用いたアクティブ学習はAUCをより速く改善し、均等サンプリングよりも情報量の多い陽性例を多く獲得する傾向がある。
• 小規模データでのアクティブ学習の性能はデータ分割に敏感であり、医用画像データセットのばらつきを強調している。