[論文レビュー] Consistency-based Active Learning for Object Detection

Weiping Yu, Sijie Zhu+2 more|arXiv (Cornell University)|Mar 18, 2021

Machine Learning and Algorithms被引用数 7

ひとこと要約

本稿では、オブジェクト検出のための一貫性に基づくアクティブラーニング手法CALDを提案する。CALDは、元画像と増幅画像間の予測の一貫性を測定することで、情報量の多いサンプルを選択し、ボックス回帰と分類の不確実性を統合する。CALDは最先端の性能を達成し、Faster R-CNNを用いたランダム選択と比較して、PASCAL VOCでは2.9–2.8 mAPの向上、MS COCOでは0.8 mAPの向上を達成した。

ABSTRACT

Active learning aims to improve the performance of task model by selecting the most informative samples with a limited budget. Unlike most recent works that focused on applying active learning for image classification, we propose an effective Consistency-based Active Learning method for object Detection (CALD), which fully explores the consistency between original and augmented data. CALD has three appealing benefits. (i) CALD is systematically designed by investigating the weaknesses of existing active learning methods, which do not take the unique challenges of object detection into account. (ii) CALD unifies box regression and classification with a single metric, which is not concerned by active learning methods for classification. CALD also focuses on the most informative local region rather than the whole image, which is beneficial for object detection. (iii) CALD not only gauges individual information for sample selection, but also leverages mutual information to encourage a balanced data distribution. Extensive experiments show that CALD significantly outperforms existing state-of-the-art task-agnostic and detection-specific active learning methods on general object detection datasets. Based on the Faster R-CNN detector, CALD consistently surpasses the baseline method (random selection) by 2.9/2.8/0.8 mAP on average on PASCAL VOC 2007, PASCAL VOC 2012, and MS COCO. Code is available at \url{https://github.com/we1pingyu/CALD}

研究の動機と目的

• ボックス予測の独自の課題と局所領域への注目という点で、分類ベースのアクティブラーニング手法をオブジェクト検出に適用した際の性能低下を解消すること。
• オブジェクト検出におけるグローバル指標の限界とクラス分布の不均衡を克服するため、局所領域の一貫性と相互情報量に焦点を当てる。
• 分類と回帰の不確実性を一貫性に基づく指標を用いて統合する、検出に特化したアクティブラーニングフレームワークを設計すること。
• 相互情報量フィルタリングによりクラスバランスを維持しながら、情報量の多いサンプルを選択することで、アノテーションの効率を向上させること。

提案手法

• 未ラベル画像にデータ増幅（例：反転、カットアウト、回転）を適用し、元画像と増幅画像の間の予測の一貫性を測定することで、局所領域の情報量を評価する。
• 分類の信頼度とボックス回帰の両方について、予測値とベースポイント値の絶対差の最小値を用いた一貫性指標を定義し、最も不確実性の高い局所領域に注目する。
• 一貫性指標の補正に、β ≈ 1.3 のベースポイントを用い、情報量の多い予測を特定するとともに、情報量が少ないもしくは不安定な予測をフィルタリングする。
• 予算よりも多くのサンプル（例：20％の拡張比）を初期選択プールとして選択することで、後続のフィルタリングを可能にする。
• 初期選択プールのクラス分布とラベル付きプールのクラス分布の間の相互情報量を用いてサンプルをフィルタリングし、クラス分布のバランスを保つ。
• 2段階選択により、個々の情報量と相互情報量を統合する：まず情報量の多いサンプルを特定し、次にクラスの不均衡を避けるために精練する。

実験結果

リサーチクエスチョン

• RQ1 分類ベースのアクティブラーニングをオブジェクト検出に適用した際の性能低下はどのような影響を及ぼし、その原因となる主な課題は何か？
• RQ2 分類と回帰の不確実性を統合した統一指標を用いることで、個別の指標と比較して、オブジェクト検出におけるサンプル選択がどのように改善されるか？
• RQ3 グローバル画像レベルの指標ではなく、局所領域の一貫性を活用することで、アクティブラーニングにおける検出性能が向上するか？
• RQ4 相互情報量フィルタリングは、オブジェクト検出のアクティブラーニングにおいて、クラス分布のバランスと全体的な検出精度をどの程度改善するか？

主な発見

• Faster R-CNNを用いたランダム選択と比較して、CALDはPASCAL VOC 2007で2.9 mAP、PASCAL VOC 2012で2.8 mAP、MS COCOで0.8 mAPのmAP向上を達成した。
• タスクに依存しないおよび検出に特化したアクティブラーニングのベースライン（LL4ALやVAALなど）を上回り、分類から検出に移行した際の顕著な性能低下を示す手法とは対照的に、優れた性能を発揮した。
• 局所領域の不一致の平均（グローバル指標）を用いることで性能が低下する結果となり、局所領域への注目が重要であることを確認した。
• ベースポイントβを削除するか、指標における信頼度の重み付けを無視すると性能が低下するため、β ≈ 1.3 と信頼度に依存する重み付けの設計選択が妥当であることが裏付けられた。
• 初期プールの拡張比が20％のときが最適な性能を示し、それ以上の比率は情報量の多いサンプルが過剰にフィルタリングされるため、性能低下を引き起こすことがわかった。
• 2段階目の相互情報量フィルタリングにより性能が顕著に向上し、サンプル選択段階でクラス分布のバランスを保つ必要性が示された。