[論文レビュー] A Geometric Approach to Active Learning for Convolutional Neural Networks

Ozan Şener, Silvio Savarese|arXiv (Cornell University)|Aug 1, 2017

Machine Learning and Algorithms参考文献 29被引用数 27

ひとこと要約

この論文は、データの幾何構造を用いて情報量の多いサンプルを特定することで、コアセット選択としてのアクティブラーニングを定式化する幾何的アクティブラーニング手法を提案する。データ多様体を最もよく表現する画像の部分集合を選択することで、従来のヒューリスティクスよりも顕著に優れた性能を達成する。

ABSTRACT

Convolutional neural networks (CNNs) have been successfully applied to many recognition and learning tasks using a universal recipe; training a deep model on a very large dataset of supervised examples. However, this approach is rather restrictive in practice since collecting a large set of labeled images is very expensive. One way to ease this problem is coming up with smart ways for choosing images to be labelled from a very large collection (ie. active learning). Our empirical study suggests that many of the active learning heuristics in the literature are not effective when applied to CNNs in batch setting. Inspired by these limitations, we define the problem of active learning as core-set selection, ie. choosing set of points such that a model learned over the selected subset is competitive for the remaining data points. We further present a theoretical result characterizing the performance of any selected subset using the geometry of the datapoints. As an active learning algorithm, we choose the subset which is expected to yield best result according to our characterization. Our experiments show that the proposed method significantly outperforms existing approaches in image classification experiments by a large margin.

研究の動機と目的

• ディープラーニングにおける大規模データセットのラベル付けコストの高い問題を解決するため、CNN向けのアクティブラーニングを改善すること。
• バッチ設定におけるCNNに適用された既存のアクティブラーニングヒューリスティクスの限界を克服すること。
• アクティブラーニングをコアセット選択として定式化し、モデル性能を維持する代表的な部分集合を選択すること。

提案手法

• 本手法は、全データセットに対して競争的な性能を発揮するデータポイントの部分集合を選択することを目的として、アクティブラーニングをコアセット選択として定式化する。
• データポイントの幾何的構造に基づいて、部分集合の性能に関する理論的特徴付けを導入する。
• 提案された幾何的特徴付けに従って、期待される性能が最も高い部分集合を選択するアルゴリズムを設計する。
• データ多様体の内面的幾何構造を活用し、代表性と多様性を最大化するサンプルを優先的に選択する。

実験結果

リサーチクエスチョン

• RQ1 データポイントの幾何的性質を活用することで、CNNにおけるアクティブラーニングの性能を向上させることができるか？
• RQ2 標準的なアクティブラーニングヒューリスティクスは、なぜCNNのバッチ学習設定では失敗するのか？
• RQ3 データの幾何構造を用いてコアセット選択をどのように形式化すれば、高いモデル性能を保証できるか？

主な発見

• 提案された幾何的アクティブラーニング手法は、画像分類ベンチマークにおいて従来手法を顕著に上回る性能を達成する。
• 従来のアクティブラーニングヒューリスティクスと比較して、少ないラベル付き例でより高い性能を達成する。
• 理論的分析から、部分集合の性能がデータポイントの幾何的分布と密接に関連していることが示された。
• 実験的結果から、幾何構造に配慮したサンプリングが、より代表的で多様性に富んだ訓練セットをもたらすことが確認された。