[論文レビュー] Points as Queries: Weakly Semi-supervised Object Detection by Points

Liangyu Chen, Tong Yang+3 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Neural Network Applications参考文献 32被引用数 5

ひとこと要約

本論文は、ラベルコストを削減しつつ検出性能を向上させるために、ポイントアノテーションを用いた新しい弱教師付き半教師ありオブジェクト検出設定を提案する。ポイントエンコーダーを用いてポイントの位置とカテゴリをオブジェクトクエリに変換するDETRベースの検出器、Point DETRを導入し、相対的回帰を用いることで正確な1対1ボックス予測を実現する。完全にアノテートされたCOCOデータの20％未満で、33.3 APを達成し、FCOSを2.0 AP上回り、AR指標において10ポイント以上の向上を示した。

ABSTRACT

We propose a novel point annotated setting for the weakly semi-supervised object detection task, in which the dataset comprises small fully annotated images and large weakly annotated images by points. It achieves a balance between tremendous annotation burden and detection performance. Based on this setting, we analyze existing detectors and find that these detectors have difficulty in fully exploiting the power of the annotated points. To solve this, we introduce a new detector, Point DETR, which extends DETR by adding a point encoder. Extensive experiments conducted on MS-COCO dataset in various data settings show the effectiveness of our method. In particular, when using 20% fully labeled data from COCO, our detector achieves a promising performance, 33.3 AP, which outperforms a strong baseline (FCOS) by 2.0 AP, and we demonstrate the point annotations bring over 10 points in various AR metrics.

研究の動機と目的

• ポイントレベルのアノテーションを用いることで、オブジェクト検出におけるアノテーションコストを削減しながら高い性能を維持する新しい弱教師付き半教師あり設定を導入すること。
• 既存の検出器が、マルチレベルの特徴マップ選択やきついポイント要件のため、ポイントアノテーションを効果的に活用できないという制限を解決すること。
• ポイントエンコーダーを活用してポイントとオブジェクトクエリの1対1対応を確立する、シンプルで効果的な検出器、Point DETRを提案すること。
• ポイントアノテーションが、特にリソースが限られたラベル設定において、検出のリコールと一般化性能を顕著に向上させることを実証すること。

提案手法

• 小規模な完全アノテート画像と大規模なスパースポイントラベルでアノテートされた画像を組み合わせた、ラベルコストと性能のバランスを取った新しい弱教師付き半教師ありオブジェクト検出設定を提案する。
• ポイント座標とカテゴリをオブジェクトクエリに変換するためのポイントエンコーダーを追加した、変更されたDETRアーキテクチャ、Point DETRを導入する。
• ボックス予測をポイント位置からの相対的オフセットとして行う相対的回帰を用いることで、局所化精度を向上させ、不一致エラーを低減する。
• マルチレベル特徴マップ選択の複雑さを回避するため、単一の特徴マップを採用し、トレーニングの簡素化と耐障害性の向上を図る。
• DETRのトランスフォーマー・デコーダーを変更し、ポイントエンコーディングされたクエリに注目できるようにし、1対1予測を実現するエンドツーエンド検出を可能にする。
• 弱教師付きアノテーション画像に対して、疑似ラベル生成をガイドするポイントアノテーションを用いた自己学習フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ポイントアノテーションは、最小限のアノテーションコストで、弱教師付き半教師ありオブジェクト検出に十分なインスタンスレベルの監視を提供できるか？
• RQ2 なぜ既存の検出器は、特にマルチレベル特徴マップベースのアーキテクチャにおいて、ポイントアノテーションを十分に活用できないのか？
• RQ3 DETRのような単段階でクエリベースの検出器は、正確な局所化を実現するためにポイントアノテーションを効果的に適応できるか？
• RQ4 ポイント位置からの相対的回帰は、絶対的回帰と比較して、局所化精度と耐障害性においてどのように異なるか？
• RQ5 ポイントアノテーションは、データが少ない環境において、検出リコールと一般化性能をどの程度向上させるか？

主な発見

• 完全にアノテートされたCOCOデータの20％未満で、Point DETRは33.3 APを達成し、FCOSを2.0 AP上回り、Faster R-CNNを1.9 AP上回った。
• Point DETRは、すべてのカテゴリ（AR s, AR m, AR l, AR 100）においてAR指標を10ポイント以上向上させ、強力なリコール向上を示した。
• Point DETRはmAPでDETRと同等の性能（26.8 vs. 26.9）を示したが、リコール性能では顕著に優れており、より良いオブジェクトカバレッジを実現した。
• Point DETRはポイント位置に強く依存しない：ポイントがオブジェクト中心にあっても、任意の位置にあっても、性能は安定している。
• ポイントが対応するボックス内にあるという事前知識を活用することで、相対的回帰は絶対的回帰よりも局所化エラーを低減した。
• ポイントアノテーションは、疑似ラベル化におけるベースラインDETRで見られる「真のラベルを逃す」エラーを緩和するが、重複検出エラーはわずかに増加するにとどまる。