[論文レビュー] Learning From Less Data: Diversified Subset Selection and Active Learning in Image Classification Tasks

Vishal Kaushal, Anurag Sahoo+6 more|arXiv (Cornell University)|May 28, 2018

Machine Learning and Algorithms参考文献 56被引用数 6

ひとこと要約

本論文では、画像分類におけるデータ効率を向上させるために、多様性駆動型サブセット選択（特にFacility-LocationおよびDisparity-Minモデル）の使用を提案する。代表的で重複のない訓練サブセットを選択することで、訓練データを大幅に削減した上でモデルの精度を2–3%向上させ、アクティブラーニングにおけるラベル付け作業の負担を軽減する。複数のビジョンタスクにおいて、不確実性サンプリングやランダム選択を上回る性能を示した。

ABSTRACT

Supervised machine learning based state-of-the-art computer vision techniques are in general data hungry and pose the challenges of not having adequate computing resources and of high costs involved in human labeling efforts. Training data subset selection and active learning techniques have been proposed as possible solutions to these challenges respectively. A special class of subset selection functions naturally model notions of diversity, coverage and representation and they can be used to eliminate redundancy and thus lend themselves well for training data subset selection. They can also help improve the efficiency of active learning in further reducing human labeling efforts by selecting a subset of the examples obtained using the conventional uncertainty sampling based techniques. In this work we empirically demonstrate the effectiveness of two diversity models, namely the Facility-Location and Disparity-Min models for training-data subset selection and reducing labeling effort. We do this for a variety of computer vision tasks including Gender Recognition, Scene Recognition and Object Recognition. Our results show that subset selection done in the right way can add 2-3% in accuracy on existing baselines, particularly in the case of less training data. This allows the training of complex machine learning models (like Convolutional Neural Networks) with much less training data while incurring minimal performance loss.

研究の動機と目的

• 画像認識分野における深層畳み込みニューラルネットワーク（CNN）の訓練にかかる高コストなデータおよびラベル作業を軽減するため、訓練データの要件を低減すること。
• 多様性に基づくサブセット選択により、重複するラベル付けを最小限に抑えることでアクティブラーニングの効率を向上させること。
• 特に訓練データが限られた状況において、多様性に配慮したサブセット選択がモデル性能を向上させることを実証すること。
• クラスの多様性やクラス内類似度といったデータセットの特性に基づいて、Facility-LocationとDisparity-Minのどちらを選ぶべきかについて実用的な知見を提供すること。

提案手法

• 特徴空間全体のカバレッジを最大化するように、多様で代表的な訓練サンプルを選択するためにFacility-Location関数を適用する。
• ペairワイズの差異を最小化することで重複を避けるために、最も相互に多様なサンプルを選択するため、Disparity-Min関数を用いる。
• アクティブラーニングパイプラインに両方のサブセット選択手法を不確実性サンプリングと統合し、ラベル付け作業の負担を軽減する。
• サブモジュラリティの性質を活用することで扱いやすくするため、貪欲な最適化アルゴリズムを用いてサブセット選択問題を効率的に解く。
• 低データ環境での性能を評価するために、事前学習済みモデルを選択されたサブセットで微調整する。
• Adience、Caltech-101、MIT-67、およびジェンダーレコognitionの複数のベンチマークで、サブセット選択手法をランダムサンプリングおよび不確実性サンプリングと比較する。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られた状況でも、多様性に配慮したサブセット選択がモデル精度を向上させることができるか？
• RQ2 アクティブラーニングフレームワーク内において、Facility-LocationとDisparity-Minはラベル付け作業の負担をどの程度軽減できるか？
• RQ3 サブセット選択手法の性能は、クラス数やクラス内類似度といったデータセットの特性に依存するか？
• RQ4 モデル精度を損なわずに、人間によるラベル付け例の数をどの程度削減できるか？
• RQ5 どのような状況で多様性選択が代表的選択を上回り、逆に代表的選択が多様性選択を上回るのか？

主な発見

• Facility-LocationおよびDisparity-Minを用いたサブセット選択により、特に低データ環境下でベースライン手法に比べてモデル精度が2–3%向上した。
• クラス内類似度が非常に高いAdienceデータセットでは、初期段階でDisparity-Minが外れ値を多様に選択したため、Facility-Locationを上回った。
• クラス数が多く、クラス間多様性が高いCaltech-101およびMIT-67では、代表的な例を効果的に選択できたため、Facility-Locationがより優れた性能を示した。
• アクティブラーニングにおいて、不確実性サンプリングとサブセット選択を組み合わせた手法は、純粋な不確実性サンプリングやランダム選択を常に上回った。
• ラベルなしサンプルの数が減少するにつれて、サブセット選択の利点が薄れ、後期段階では不確実性サンプリングのみで十分であることが示された。
• Facility-Location関数は最近傍分類の理論的期待と整合しており、強い代理指標として機能することがわかった。