[論文レビュー] Entropy-based Active Learning for Object Detection with Progressive Diversity Constraint

Jiaxi Wu, Jiaxin Chen+1 more|arXiv (Cornell University)|Apr 17, 2022

Image Processing Techniques and Applications被引用数 4

ひとこと要約

本稿では、2段階のフレームワークを用いて、インスタンスレベルの不確実性と多様性を統合する、オブジェクト検出のための新規ハイブリッドアクティブラーニング手法を提案する。不確実性推定にはエントロピーに基づく非最大抑制（ENMS）を、段階的かつ内的・外的多様性を促進するための多様なプロトタイプ（DivProto）戦略を採用する。本手法は、MS COCOおよびPascal VOCで最先端の性能を達成し、情報性と代表性のバランスを保ちつつ計算効率も維持している。

ABSTRACT

Active learning is a promising alternative to alleviate the issue of high annotation cost in the computer vision tasks by consciously selecting more informative samples to label. Active learning for object detection is more challenging and existing efforts on it are relatively rare. In this paper, we propose a novel hybrid approach to address this problem, where the instance-level uncertainty and diversity are jointly considered in a bottom-up manner. To balance the computational complexity, the proposed approach is designed as a two-stage procedure. At the first stage, an Entropy-based Non-Maximum Suppression (ENMS) is presented to estimate the uncertainty of every image, which performs NMS according to the entropy in the feature space to remove predictions with redundant information gains. At the second stage, a diverse prototype (DivProto) strategy is explored to ensure the diversity across images by progressively converting it into the intra-class and inter-class diversities of the entropy-based class-specific prototypes. Extensive experiments are conducted on MS COCO and Pascal VOC, and the proposed approach achieves state of the art results and significantly outperforms the other counterparts, highlighting its superiority.

研究の動機と目的

• オブジェクト検出における高コストなアノテーションを軽減するため、より情報量の多い未ラベル画像を選択するアクティブラーニング戦略の開発を目的とする。
• 計算コストに配慮しつつ、インスタンスレベルの不確実性と画像間の多様性を同時に最適化する。
• バランスの取れた代表的な画像の収集を保証することで、少ないラベル付きサンプルでモデル性能を向上させる。
• 従来の不確実性ベースおよび多様性ベースの手法の限界を克服するため、インスタンスレベルで両原則を統合する。

提案手法

• 特徴空間におけるエントロピーに基づいて重複するオブジェクトインスタンスを抑制することで、画像レベルの不確実性を推定するエントロピーに基づく非最大抑制（ENMS）を導入する。
• 各画像に対してENMSを適用し、インスタンスレベルの不確実性を精緻化する。抑制後にエントロピーが高いほど、選択優先度が高くなる。
• クラス固有のインスタンスをプロトタイプに集約することで、クラス内およびクラス間の多様性を促進する多様なプロトタイプ（DivProto）戦略を開発する。
• エントロピーに基づくクラス固有プロトタイプを用いて、クラス内およびクラス間の多様性を段階的に向上させる画像を選択する。
• 2段階パイプラインを実装する：まずENMSによる不確実性フィルタリングを行い、次にDivProtoによる多様性に配慮した画像選択を実施する。
• すべてのペアワイズインスタンス比較ではなく、プロトタイプレベルでの多様性制約を適用することで、計算コストをバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出のアクティブラーニングにおいて、インスタンスレベルの不確実性と多様性を効果的に統合する方法は何か？
• RQ2 不確実性推定と多様性強化を分離する2段階フレームワークは、性能向上と計算コスト削減を両立できるか？
• RQ3 プロトタイプレベルでの段階的多様性は、モデルの一般化性能とラベル効率をどの程度向上させるか？
• RQ4 本手法は、不確実性のみまたは多様性のみを考慮するベースラインと比較して、精度およびサンプル効率の面でどの程度優れているか？

主な発見

• 提案手法は、MS COCOおよびPascal VOCベンチマークで、オブジェクト検出におけるアクティブラーニング手法として最先端の性能を達成した。
• MS COCOの30%アノテーションサイクルにおいて、DivProtoモジュールの最適ハイパーパrameter（α=0.5、β=0.75）を用いることで、最高の平均平均精度（mAP）を達成した。
• ENMSとDivProtoの組み合わせにより、80クラスのCOCOにおけるインスタンス数の標準偏差が低減され、選択されたサブセットのクラス間バランスが向上したことが示された。
• 計算効率が顕著に向上した：本手法の取得時間（1,015秒）は、原始的なインスタンスレベルの多様性計算の上限（9.95×10⁷秒）の99%以上も短縮された。
• ランダムサンプリングおよび基本的なエントロピーに基づく選択と比較して、本手法はResNet-101を含むさまざまなバックボーンネットワークで一貫した性能向上を示した。
• t-SNEを用いた可視化により、DivProtoはエントロピー基準のベースラインと比較して、より代表的で多様性に富んだプロトタイプを生成していることが確認された。特に、クラス間での標準偏差が高くなっている。