[論文レビュー] Deep Active Learning over the Long Tail

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|Nov 2, 2017

Machine Learning and Algorithms参考文献 14被引用数 86

ひとこと要約

本論文は FF-Active を導入します。これは深層ネットのための最遠先（farthest-first）・表現空間コアセットに基づくプール型アクティブ学習法で、MNIST、CIFAR-10、CIFAR-100 における長尾分布・多回ラウンド設定で、ランダムサンプリングおよび不確実性（ソフトマックス）サンプリングと比較して著しいサンプル効率の向上を示します。

ABSTRACT

This paper is concerned with pool-based active learning for deep neural networks. Motivated by coreset dataset compression ideas, we present a novel active learning algorithm that queries consecutive points from the pool using farthest-first traversals in the space of neural activation over a representation layer. We show consistent and overwhelming improvement in sample complexity over passive learning (random sampling) for three datasets: MNIST, CIFAR-10, and CIFAR-100. In addition, our algorithm outperforms the traditional uncertainty sampling technique (obtained using softmax activations), and we identify cases where uncertainty sampling is only slightly better than random sampling.

研究の動機と目的

• 深層アクティブ学習におけるラベル効率の動機付けと長尾プール設定への対応。
• データセット圧縮のアイデアを活用して、表現空間のコアセットを介してクエリ選択を導く。
• ハイパーパラメータ感度を抑え、初期段階のパフォーマンスを安定化させる実用的なクエリ戦略を開発する。

提案手法

• 初期の深層モデルを訓練し、その後長尾設定の反復的なアクティブ学習ラウンドを実施する。
• 表現空間におけるクラスごとのコアセットを、最後の層の前の表現 phi(x) に対する最遠先探索で構築する。
• 各ラウンドで、現在ラベル付け済みの表現との距離の最小値を最大化する未ラベル点を貪欲に選ぶことでバッチを選択する。
• 提案手法 FF-Active を、ソフトマックス応答（不確実性サンプリング）およびランダムサンプリングと、複数のデータセットに渡って比較する。
• オプションとして、表現を豊かにし分散を低減するために擬似ラベリングやモンテカルロドロップアウトなどの拡張を検討する。

実験結果

リサーチクエスチョン

• RQ1 表現空間における最遠先探索は、深層で長尾設定のアクティブ学習におけるラベル効率を生み出すか。
• RQ2 FF-Activeは標準的な不確実性サンプリングおよびランダムサンプリングと比べて、標準的な画像データセットでどのように異なるか。
• RQ3 表現ベースのコアセットは、深層アクティブ学習で過度なハイパーパラメータ調整を要することなく、実践的な改善を提供できるか。
• RQ4 合成された長尾（拡張されたプール）がクエリ効率に与える影響はどうか。

主な発見

• FF-Active は MNIST、CIFAR-10、CIFAR-100 において、ランダムサンプリングより著しいラベル効率の向上を達成する。
• FF-Active は通常、初期のアクティブラウンド後に特に不確実性サンプリングを上回る傾向を示す。
• MNIST では、FF-Active と SR は初期には同様に機能するが、ラベル付けが進むにつれて FF-Active の優位性を維持する。
• CIFAR-10 および CIFAR-100 では、FF-Active は Random に対して明確な利点を示し、SR は初期は同程度だが後期には劣化する。
• 合成された長尾（膨張したプール）は FF-Active の Random および SR に対する優位性を増幅する。
• 本アプローチは、表現空間の最遠先コアセットが深層ネットの効果的なラベル付きデータ選択を導くことを示している。