[論文レビュー] Cost-effective Object Detection: Active Sample Mining with Switchable Selection Criteria

Keze Wang, Liang Lin+4 more|arXiv (Cornell University)|Jun 30, 2018

Machine Learning and Algorithms被引用数 7

ひとこと要約

本論文は、信頼度と不確実性に基づき、動的にラベルなしサンプルをアクティブラーニング（人間によるラベル付け）またはセルフラーニング（偽ラベル付け）に選別する、コスト効率の良いアクティブサンプルマイニング（ASM）フレームワークを提案する。ミニバッチ学習と組み合わせることで、PASCAL VOC 2007/2012ベンチマークにおいて、完全に教師ありモデルと同等の検出性能を達成しながら、ラベル付けコストを最大50％まで削減する。

ABSTRACT

Though quite challenging, leveraging large-scale unlabeled or partially labeled data in learning systems (e.g., model/classifier training) has attracted increasing attentions due to its fundamental importance. To address this problem, many active learning (AL) methods have been proposed that employ up-to-date detectors to retrieve representative minority samples according to predefined confidence or uncertainty thresholds. However, these AL methods cause the detectors to ignore the remaining majority samples (i.e., those with low uncertainty or high prediction confidence). In this work, by developing a principled active sample mining (ASM) framework, we demonstrate that cost-effectively mining samples from these unlabeled majority data is key to training more powerful object detectors while minimizing user effort. Specifically, our ASM framework involves a switchable sample selection mechanism for determining whether an unlabeled sample should be manually annotated via AL or automatically pseudo-labeled via a novel self-learning process. The proposed process can be compatible with mini-batch based training (i.e., using a batch of unlabeled or partially labeled data as a one-time input) for object detection. In addition, a few samples with low-confidence predictions are selected and annotated via AL. Notably, our method is suitable for object categories that are not seen in the unlabeled data during the learning process. Extensive experiments clearly demonstrate that our ASM framework can achieve performance comparable to that of alternative methods but with significantly fewer annotations.

研究の動機と目的

• 大規模なラベルなしデータを効果的に活用することで、オブジェクト検出の高いラベル付けコストを低減すること。
• ラベル付きデータが偏った分布（長尾分布）にある場合に、情報量の多いサンプル（ハード例）を特定する課題に対処すること。
• 学習データに含まれるノイズや外れ値サンプルによる性能劣化を最小限に抑えること。
• 人間によるラベル付けと自動化された偽ラベル付けのバランスを最適化することで、効率性を高めるハイブリッドラベリング戦略を開発すること。
• 初期学習段階でラベルなしデータに存在しないオブジェクトカテゴリに対しても、効果的な学習を可能にすること。

提案手法

• ASMフレームワークは、予測の信頼度と不確実性に基づき、サンプルをアクティブラーニング（人間によるラベル付け）かセルフラーニング（偽ラベル付け）に送るかを決定するスイッチ可能な選別メカニズムを用いる。
• アクティブラーニング（AL）とセルフラーニング（SL）の損失関数を統合した共同最適化目的関数を採用し、ハイパーパrameter γ によって制御されるしきい値機構を導入する。
• ラベルなしオブジェクト候補の各バッチに対して、検出器はクラススコアと信頼度を予測し、ALおよびSL部の両方の選別スコアを計算する。
• 本手法は動的に、高信頼度のサンプルに対して偽ラベルを割り当て、低信頼度のサンプルは人間によるラベル付けのために選別する。
• フレームワークはミニバッチ学習と互換性があり、人間ラベル付きデータと偽ラベル付きデータの両方を用いて検出器の反復的改善を可能にする。
• 理論的分析により、選別メカニズムの収束が証明され、ラベルの信頼度としきい値条件に基づき、サンプルが適切にALまたはSLにルーティングされることが示された。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングとセルフラーニングをハイブリッドで組み合わせたフレームワークは、検出性能を損なわせることなくラベル付けコストを削減できるか？
• RQ2 信頼度と不確実性に基づき、ラベルなしサンプルを人間ラベル付けと偽ラベル付けの間で動的にルーティングできるか？
• RQ3 本手法は、初期段階の学習段階でラベルなしデータに存在しなかったオブジェクトカテゴリからも効果的に学習できるか？
• RQ4 スイッチ可能な選別メカニズムは、固定戦略に比べてラベル付け効率とモデル精度の両面で優れているか？
• RQ5 ノイズや外れ値を含むラベルなしデータに対して、本フレームワークはどのように対処するか？

主な発見

• ASMフレームワークは、PASCAL VOC 2007および2012ベンチマークにおいて、人間ラベル付きサンプルを著しく減らしても、完全に教師ありモデルと同等の検出性能を達成した。
• ベースラインのアクティブラーニング手法と比較して、ラベル付けコストを最大50％まで削減しながら、平均平均精度（mAP）を維持または向上させた。
• スイッチ可能な選別メカニズムは、特に低信頼度のハード例を的確に特定し、人間ラベル付けの対象として優先する能力を示した。
• 高信頼度サンプルに対する偽ラベル付けは、モデルの一般化性能を向上させ、人間ラベルへの依存度を低下させた。
• ノイズの多いサンプルに対してもフレームワークは頑健であり、学習中に低信頼度予測をフィルタリングすることで性能が向上したことが実証された。
• 理論的分析により、選別メカニズムが、ラベルの信頼度としきい値パラメータに基づき、最適なサンプルルーティングに収束することが確認された。