[論文レビュー] QBDC: Query by dropout committee for training deep supervised architecture

Mélanie Ducoffe, Fŕed́eric Precioso|arXiv (Cornell University)|Nov 19, 2015

Algorithms and Data Compression参考文献 3被引用数 10

ひとこと要約

本稿では、バッチワイズドロップアウトを用いて部分的なCNNの委員会をシミュレートすることで、効率的で低コストなサンプル選択を可能にする、深層教師付きネットワーク向けのクエリ・バイ・コミ mittee（QBC）のアクティブラーニング手法QBDCを提案する。MNISTでは、訓練データの30%のみを用いても、ほぼ最先端の精度を達成し、 adversarial な例に対するロバストネスの低下も最小限に抑えられる。

ABSTRACT

While the current trend is to increase the depth of neural networks to increase their performance, the size of their training database has to grow accordingly. We notice an emergence of tremendous databases, although providing labels to build a training set still remains a very expensive task. We tackle the problem of selecting the samples to be labelled in an online fashion. In this paper, we present an active learning strategy based on query by committee and dropout technique to train a Convolutional Neural Network (CNN). We derive a commmittee of partial CNNs resulting from batchwise dropout runs on the initial CNN. We evaluate our active learning strategy for CNN on MNIST benchmark, showing in particular that selecting less than 30 % from the annotated database is enough to get similar error rate as using the full training set on MNIST. We also studied the robustness of our method against adversarial examples.

研究の動機と目的

• 深層学習のための大規模な訓練データセットのラベル付けコストを低減するため、ラベル付けが必要なサンプル数を減らす。
• クエリ・バイ・コミットリー（QBC）戦略において、複数の完全なディープニューラルネットワークの委員会を訓練する計算上の非現実性を克服する。
• 最小限のラベル付きデータで高い性能を維持する、深層畳み込みニューラルネットワーク（CNN）に特化した効率的でスケーラブルなアクティブラーニング手法を開発する。
• フルデータセットで訓練されたモデルと比較して、選択されたモデルの adversarial な例に対するロバストネスを評価する。
• ドロップアウトを用いた計算的に軽量な近似により、ディープアーキテクチャに委員会ベースのアクティブラーニングを適用する可能性を示す。

提案手法

• 1つの完全なCNNを訓練し、推論時にバッチワイズドロップアウトを用いて部分的でサブネットワークからなる委員会を生成する。
• ドロップアウト正則化されたサブネットワーク間の不一致を用いて不確実性を推定し、ラベル付けに最も有益なサンプルを選択する。
• 各イテレーションで委員会が新しいミニバッチのサンプルをラベル付け対象として選択するバッチアクティブラーニング戦略を適用する。
• 選択されたサンプルサブセット上でフルCNNを再訓練し、ラベル付きデータを減らしながらも性能を段階的に向上させる。
• Fast Gradient Sign Method（FGSM）を用いて adversarial な例を生成し、QBDCで訓練されたモデルのロバストネスを評価する。
• テスト誤差率や adversarial な例の検出といった標準指標を用いて、QBDCの性能をランダムサンプリングおよびフルデータセット訓練と比較する。

実験結果

リサーチクエスチョン

• RQ1 複数の完全なネットワークを訓練する高コストな計算を伴うにもかかわらず、QBC戦略をディープニューラルネットワークに効果的に適応できるか。
• RQ2 フルデータセットの一部であるMNISTの30%未満のデータで訓練した場合、QBDCのテスト精度はどの程度の水準に達するか。
• RQ3 ドロップアウトに基づく委員会の不一致を用いたアクティブラーニング戦略は、ランダムサンプリングに比べて優れたサンプル選択を可能にするか。
• RQ4 フルデータセットで訓練されたモデルと比較して、QBDCで訓練されたモデルの adversarial な例に対するロバストネスはどの程度か。
• RQ5 QBDCを用いて訓練セットサイズを削減することで、モデルの一般化性能や入力の摂動に対する感受性にどの程度の影響が生じるか。

主な発見

• QBDCはMNISTで訓練データの30%のみを用いても平均テスト誤差率1.10%を達成し、フルデータセットで訓練されたモデルの性能に近づく。
• QBDCの最良誤差率は0.99%であり、顕著に少ないラベル付け作業で高い精度を維持できることを示している。
• ドロップアウトを用いたQBDCは、ドロップアウトなしのQBDCよりもわずかに悪い性能（平均誤差1.53%）を示しており、この特定の設定ではドロップアウトが有益でない可能性を示唆している。
• QBDCで訓練されたモデルは、フルデータセットモデルと比較して、ε=0.1のとき4%多くの adversarial な例を検出するという、わずかに高い adversarial な例への感受性を示した。
• adversarial な例への感受性が高まったにもかかわらず、QBDCモデルは強い一般化性能を維持しており、訓練セットの縮小がモデルの安定性を著しく損なわないことを示している。
• 本手法は、CIFAR-10などのより複雑なデータセットへの応用や、半教師あり学習または正規化に基づく手法との統合への応用の可能性を示している。