[論文レビュー] Cross-Supervised Object Detection

Zitian Chen, Zhiqiang Shen+2 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Neural Network Applications参考文献 36被引用数 4

ひとこと要約

本稿では、画像レベルラベルのみを用いて、ベースカテゴリの完全な教師あり検出知識を活用して、新規カテゴリにおける弱教師ありオブジェクト検出を向上させる、クロス教師ありオブジェクト検出（CSOD）という新しいフレームワークを提案する。検出ヘッドと認識ヘッドを統合し、認識と検出を結ぶ空間相関モジュール（SCM）を導入することで、COCOのような複雑なマルチオブジェクトシーンにおいて、局所化精度が著しく向上し、先行する弱教師あり手法を大きく上回る。

ABSTRACT

After learning a new object category from image-level annotations (with no object bounding boxes), humans are remarkably good at precisely localizing those objects. However, building good object localizers (i.e., detectors) currently requires expensive instance-level annotations. While some work has been done on learning detectors from weakly labeled samples (with only class labels), these detectors do poorly at localization. In this work, we show how to build better object detectors from weakly labeled images of new categories by leveraging knowledge learned from fully labeled base categories. We call this novel learning paradigm cross-supervised object detection. We propose a unified framework that combines a detection head trained from instance-level annotations and a recognition head learned from image-level annotations, together with a spatial correlation module that bridges the gap between detection and recognition. These contributions enable us to better detect novel objects with image-level annotations in complex multi-object scenes such as the COCO dataset.

研究の動機と目的

• インスタンスレベルのアノテーションではなく、画像レベルラベルしか入手できない状況において、新規カテゴリの正確なオブジェクト検出器を訓練する課題に対処すること。
• 完全にアノテートされたベースカテゴリから得られる知識を転移することで、認識と検出の間の局所化ギャップを埋め、複雑なシーンにおける局所化精度を向上させること。
• バックボーンを共有する統合フレームワークを構築し、検出ヘッドと認識ヘッドを同時に最適化するとともに、両者のドメインギャップを低減すること。
• COCOのような複雑なマルチオブジェクトシーンにおいて、既存の弱教師あり手法がダストラクターやスケール変動の影響で失敗する状況での検出性能を向上させること。

提案手法

• 検出ヘッド（インスタンスレベルアノテーションで学習）と認識ヘッド（画像レベルラベルで学習）の両方を、1つのバックボーンで共有する統合ネットワークアーキテクチャを採用する。
• 認識ヘッドは複数のオブジェクト候補のクラススコアを出力し、真のバウンディングボックスが存在しない状況下でも弱教師あり局所化を可能にする。
• 空間相関モジュール（SCM）は、認識ヘッドから得た高信頼度の候補を、真のバウンディングボックスに類似したより正確なボックスに回帰することで、局所化バイアスを低減する。
• SCMは、提案の密度と信頼度を表す2チャネルのヒートマップ（最大信頼度と信頼度の合計）を用い、バウンディングボックスの回帰を堅牢に実現する。
• 2段階の戦略を用いてエンドツーエンドで訓練する：最初に検出ヘッドの監視なしで認識ヘッドを5エポックプリトレーニングし、その後すべてのコンponentsを共同でファインチューニングする。
• 提案生成はデータセットの複雑さに応じて適応される——PASCAL VOC（少数のベースカテゴリ）では選択的探索、COCO（多数のベースカテゴリ）ではRPNを用いることで、提案品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全に教師あり検出の知識をベースカテゴリから活用することで、画像レベルラベルのみを用いた新規カテゴリにおける弱教師あり検出性能を向上させることができるか？
• RQ2 複雑なシーンにおける局所化精度を向上させるために、認識と検出のギャップをどのように埋め合わせることができるか？
• RQ3 共有バックボーンと二重ヘッドを持つ統合フレームワークは、弱教師あり設定において、分離された認識モデルと検出モデルを別々に学習する手法を上回る性能を示すか？
• RQ4 空間相関モジュールは、認識ヘッドから得た提案ボックスをどのように精緻化することで、局所化を向上させるか？

主な発見

• 20/60のベース対新規カテゴリスプリットを採用したCOCOでは、提案手法が新規カテゴリで55.7%のAP50を達成し、次善のベースライン（SS：55.7% 対 RPNベース手法の42.5%）を大きく上回り、先行する最先端手法をも凌駆する。
• アブレーションスタディでは、SCMのバックボーンとしてFCOSに5層の畳み込み層を用いることで、性能と計算コストのバランスが最良となることが判明した。
• 提案構造を有する認識ヘッドは、WSDDNやOICRを上回る性能を示し、統合フレームワークにおける強力な認識ヘッドの利点を実証した。
• 空間相関モジュールは局所化誤りを効果的に是正する——例として、頭部だけでなく全身を検出するようになるなど——かつ、共起するオブジェクトに起因する誤検出を低減する。
• PASCAL VOCでは、提案に選択的探索を用いた場合、新規カテゴリで72.7%のAP50を達成し、限られたベースカテゴリでも強力な汎化性能を示した。
• 可視化結果から、認識ヘッド単体では判別力のある部分（例：頭部）しか局所化しないが、SCMと検出ヘッドを組み合わせることで、より完全で正確なバウンディングボックスが得られることを確認した。