[論文レビュー] Active Learning for Convolutional Neural Networks: A Core-Set Approach

Ozan Şener, Silvio Savarese|arXiv (Cornell University)|Aug 1, 2017

Machine Learning and Algorithms参考文献 50被引用数 683

ひとこと要約

CNNのアクティブラーニングをコアセット選択として定義し、貪欲な k-center に基づく手法が強力な画像分類性能を示し、バッチ設定でベースラインを上回る。

ABSTRACT

Convolutional neural networks (CNNs) have been successfully applied to many recognition and learning tasks using a universal recipe; training a deep model on a very large dataset of supervised examples. However, this approach is rather restrictive in practice since collecting a large set of labeled images is very expensive. One way to ease this problem is coming up with smart ways for choosing images to be labelled from a very large collection (ie. active learning). Our empirical study suggests that many of the active learning heuristics in the literature are not effective when applied to CNNs in batch setting. Inspired by these limitations, we define the problem of active learning as core-set selection, ie. choosing set of points such that a model learned over the selected subset is competitive for the remaining data points. We further present a theoretical result characterizing the performance of any selected subset using the geometry of the datapoints. As an active learning algorithm, we choose the subset which is expected to yield best result according to our characterization. Our experiments show that the proposed method significantly outperforms existing approaches in image classification experiments by a large margin.

研究の動機と目的

• ラベル付けコストのため、大規模な CNN 訓練データセットのラベル付けの困難性を動機づける。
• CNN におけるバッチ照会に対処するため、アクティブブラーニングをコアセット選択として再定義することを提案する。
• コアセット損失とデータ幾何学を結ぶ理論的境界を構築し、CNN に対する関連性を証明する。
• ラベル情報を使用せずに、有益なバッチを選択する効率的な k-center ベースのアルゴリズムを提案する。
• 標準的な画像データセット上で既存のアクティブブラーニングのベースラインに対して実証的な優位性を示す。

提案手法

• ラベルなしデータのプールとラベリング予算を用いたアクティブブラーニングを、全データの経験損失とサブセットの経験損失との間のコアセット損失を最小化する問題として定式化する。
• 選択されたサブセットのカバー半径でコアセット損失が上界になることを示すリプシッツ性に基づく境界を確立する。
• この境界を最小化することは k-Center（ミニマックス・ファシリティ・ロケーション）問題を解くことと同等であり、効率のために貪欲な 2-OPT アプローチを適用する。
• 外れ値処理を含むより厳密な境界を得るために、任意で混合整数計画問題（MIP）を解くことで頑健性を向上させる。
• 最終の全結合層の活性化間の L2 距離として定義された距離計量を用いてデータ点の類似性を測定し、各反復後に CNN（VGG-16）をゼロから訓練する。
• CIFAR および SVHN データセットに対して、完全監視と弱監視（ Ladder ネットワーク）設定の双方を用いた実験を行う。

実験結果

リサーチクエスチョン

• RQ1 CNN のアクティブブラーニングを効果的にコアセット選択問題として定式化できるか？
• RQ2 バッチベースの k-center ベースの獲得戦略は、CNN に対する不確実性ベースのバッチアクティブブラーニング法を上回るか？
• RQ3 コアセット損失、データ幾何学、およびCNN訓練性能の理論的関係は何か？
• RQ4 提案手法は標準的な視覚データセットにおける完全監視と弱監視のCNN訓練でどのように性能を示すか？

主な発見

• コアセットの定式化は、全データ損失とサブセット損失を比較する境界を導き、それはカバー半径とサンプルサイズに依存する。
• コアセット境界の最小化は k-Center 問題に等しく、貪欲な 2-OPT 解法が効率的な近似を提供する。
• 実証的な結果は最先端の性能を示し、提案手法は画像分類実験で既存のベースラインを大きく上回る。
• 手法は完全監視と弱監視の両方の設定で有効であり、特徴幾何学がより良くなるため弱監視ケースでより大きな効果が観察される。
• バッチモードの不確実性ベースライン（例：BMDR、エントロピーベース法）はCNNにおいてコアセット手法に比べ性能が劣り、バッチ選択におけるサンプル相関の影響を浮き彫りにしている。