[論文レビュー] Adversarial Active Learning for Deep Networks: a Margin Based Approach

Mélanie Ducoffe, Fŕed́eric Precioso|arXiv (Cornell University)|Feb 27, 2018

Machine Learning and Algorithms参考文献 18被引用数 173

ひとこと要約

DFAL は DeepFool によって最小の敵対的摂動を計算し、決定境界に最も近いラベルなしサンプルを選択することで、収束を速め、MNIST、Shoe-Bag、Quick-Draw に跨る CNNs の堅牢な性能をもたらす。

ABSTRACT

We propose a new active learning strategy designed for deep neural networks. The goal is to minimize the number of data annotation queried from an oracle during training. Previous active learning strategies scalable for deep networks were mostly based on uncertain sample selection. In this work, we focus on examples lying close to the decision boundary. Based on theoretical works on margin theory for active learning, we know that such examples may help to considerably decrease the number of annotations. While measuring the exact distance to the decision boundaries is intractable, we propose to rely on adversarial examples. We do not consider anymore them as a threat instead we exploit the information they provide on the distribution of the input space in order to approximate the distance to decision boundaries. We demonstrate empirically that adversarial active queries yield faster convergence of CNNs trained on MNIST, the Shoe-Bag and the Quick-Draw datasets.

研究の動機と目的

• 動機づけと深層ネットワークの学習におけるデータアノテーションコストの削減。
• CNNs に適したマージンベースのアクティブ学習基準を開発。
• 完全な境界計算を行わず、敵対的摂動を活用して決定境界までの距離を近似する。
• 複数のデータセットにわたる DFAL 手法の実証的な効率性と堅牢性を示す。

提案手法

• DFAL（DeepFool Active Learning）と呼ばれる深層ネットワーク向けのマージンベースのアクティブ学習ヒューリスティックを導入。
• Unlabeled samples に対して DeepFool を用いて最小の敵対的摂動を計算し、摂動が最も小さいものを選択。
• 選択したサンプルのラベルを問い合わせ、同じラベルを持つ彼らの敵対的対応例を擬似拡張データとして含める。
• 摂動ベースのペアリングによるラベル破損を生じさせず、拡張されたラベル付きデータセット上で反復的にネットワークを訓練。
• DFAL はハイパーパラメータ不要で、敵対的サンプルによる正則化を通じて堅牢性を強調。
• 異なるアーキテクチャ間で DFAL が選択したデータの転移性を示す。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動は CNN の決定境界までの距離の信頼できる代理指標となり得るか。
• RQ2 DeepFool ベースのアクティブ問い合わせ戦略は、標準の不確実性ベースまたはランダムサンプリングと比較してラベル効率を改善するか。
• RQ3 DFAL が選択したサンプルは、セレクターを再訓練せずに他のアーキテクチャへ転移可能か。
• RQ4 DFAL は精度と実行時間の点で、最先端のバッチアクティブ学習法とどのように比較されるか。

主な発見

• DFAL は、複数の CNN アーキテクチャとデータセットにおいて、ランダム選択よりも一貫して収束を速め、テスト精度を向上させる。
• DFAL は CORE-SET などの最先端バッチ手法と競合し、しばしばそれより精度が高く、実行時間ははるかに高速。
• DFAL は各イテレーションで固定数の追加問い合わせを使用し、ラベル付きデータとして訓練データの小さな割合のみを追加する傾向があり、過剰なラベリングを回避。
• DFAL は転移性を示し、あるアーキテクチャのために選択されたデータが別のアーキテクチャの訓練に用いられた場合にも効果をもたらす。