[論文レビュー] Plug and Play Active Learning for Object Detection

Chenhongyi Yang, Lichao Huang+1 more|arXiv (Cornell University)|Nov 21, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、分類と局所化の両方の不確実性を考慮した難易度補正不確実性サンプリングと、カテゴリ条件付き類似度マッチングを組み合わせた、オブジェクト検出のための二段階的アクティブラーニングフレームワークであるPlug and Play Active Learning (PPAL) を提案する。PPAL は、モデルアーキテクチャやトレーニングパイプラインを変更せずに、MS-COCO および Pascal VOC で複数の検出器アーキテクチャにおいて、先行する最先端手法を上回る性能を発揮する。

ABSTRACT

Annotating datasets for object detection is an expensive and time-consuming endeavor. To minimize this burden, active learning (AL) techniques are employed to select the most informative samples for annotation within a constrained "annotation budget". Traditional AL strategies typically rely on model uncertainty or sample diversity for query sampling, while more advanced methods have focused on developing AL-specific object detector architectures to enhance performance. However, these specialized approaches are not readily adaptable to different object detectors due to the significant engineering effort required for integration. To overcome this challenge, we introduce Plug and Play Active Learning (PPAL), a simple and effective AL strategy for object detection. PPAL is a two-stage method comprising uncertainty-based and diversity-based sampling phases. In the first stage, our Difficulty Calibrated Uncertainty Sampling leverage a category-wise difficulty coefficient that combines both classification and localisation difficulties to re-weight instance uncertainties, from which we sample a candidate pool for the subsequent diversity-based sampling. In the second stage, we propose Category Conditioned Matching Similarity to better compute the similarities of multi-instance images as ensembles of their instance similarities, which is used by the k-Means++ algorithm to sample the final AL queries. PPAL makes no change to model architectures or detector training pipelines; hence it can be easily generalized to different object detectors. We benchmark PPAL on the MS-COCO and Pascal VOC datasets using different detector architectures and show that our method outperforms prior work by a large margin. Code is available at https://github.com/ChenhongyiYang/PPAL

研究の動機と目的

• オブジェクト検出における高コストなアノテーションを最小限に抑えることにより、アノテーションの必要数を削減する。
• 局所化と分類の二重のタスクおよび多インスタンス画像の複雑さに起因する、従来の不確実性ベースおよび多様性ベースのアクティブラーニング手法の限界を克服する。
• 既存のオブジェクト検出器に統合可能であり、アーキテクチャやトレーニングパイプラインの変更が不要なプラグアンドプレイソリューションを構築する。
• 分類と局所化の難易度を同時にモデル化し、多インスタンス画像における細粒度の類似度測定を可能にすることで、アクティブラーニングの性能を向上させる。

提案手法

• 難易度補正不確実性サンプリング（DCUS）を提案：分類と局所化の両方の難易度を考慮したカテゴリごとの難易度係数を用いて、インスタンスの不確実性を再重み付けする。
• カテゴリ条件付きマッチング類似度（CCMS）を導入：1枚の画像内の各オブジェクトを別の画像の最も類似したオブジェクトとマッチングし、インスタンスごとの類似度をアンサンブルすることで、画像単位の類似度を計算する。
• CCMS を用いた修正版 k-means++ アルゴリズムを適用し、高不確実性の候補プールから多様で代表的な画像を選択する。
• アクティブラーニングプロセスを二段階に分離する：(1) 不確実性ベースの候補プール選択、(2) プールからの多様性ベースのクエリ選択。
• デフォルトでエントロピーを不確実性測定に用いるが、事後確率およびマージンベースの不確実性への一般化を検証する。
• モデル構造やトレーニング手順の変更を避けることで、任意の検出器アーキテクチャおよびバックボーンと互換性を持つようにする。

実験結果

リサーチクエスチョン

• RQ1 分類と局所化の両方の不確実性が存在するオブジェクト検出において、不確実性ベースのアクティブラーニングは効果的に適用可能か？
• RQ2 多インスタンス画像における多様性ベースのアクティブラーニングにおいて、類似度測定はどのように改善可能か？
• RQ3 アーキテクチャやトレーニングパイプラインの変更なしに、さまざまなオブジェクト検出器と互換性を持つプラグアンドプレイ型のアクティブラーニングフレームワークを設計可能か？
• RQ4 分類と局所化の難易度を同時にモデル化することで、オブジェクト検出におけるアクティブラーニングの性能は向上するか？
• RQ5 提案された CCMS 類似度測定は、グローバル特徴類似度と比較して、意味的多様性およびインスタンスレベルの多様性をどのようによりよく捉えているか？

主な発見

• PPAL は MS-COCO および Pascal VOC で最先端の性能を達成し、複数の検出器アーキテクチャおよびバックボーンネットワークにおいて、先行するアクティブラーニング手法を上回る。
• RetinaNet と ResNet-101 を用いた Pascal VOC では、PPAL は 20% のアノテーション予算で 75.0% の mAP を達成した。これはランダムサンプリングの 72.3% を上回る。
• MobileNetV2 を用いる場合、PPAL は 20% の予算で 50.7% の mAP を達成し、ランダムサンプリングの 44.7% を大きく上回り、軽量モデルでも優れた性能を示した。
• Swin-Tiny を用いた場合、PPAL は 20% の予算で 76.2% の mAP を達成し、トランスフォーマーを含むさまざまなバックボーンタイプに対しても強い一般化性能を示した。
• COCO mini-val における CCMS と Jaccard 類似度の間には強い正の相関（r ≈ 0.7）が観察され、グローバル類似度と比較して意味的類似度をよりよく捉えていることが示された。
• 可視化結果から、CCMS は支配的オブジェクトに偏ることなく、細粒度の特徴を捉えているのに対し、グローバル類似度はしばしばマイノリティインスタンスを無視することが確認された。