[論文レビュー] Double-Head RCNN: Rethinking Classification and Localization for Object Detection

Yue Wu, Yinpeng Chen+5 more|arXiv (Cornell University)|Apr 13, 2019

Advanced Neural Network Applications被引用数 9

ひとこと要約

本論文では、分類と局所化を分離することで分類に完全結合ヘッドを、境界ボックス回帰に畳み込みヘッドを割り当てることで、分類と局所化を分離する新しいオブジェクト検出フレームワーク、Double-Head R-CNNを提案する。この手法は、ResNet-50とResNet-101を用いたFPNベースラインに対して、それぞれ+3.5および+2.8のAP向上を達成しており、各ヘッド構造の補完的特長を活用している。

ABSTRACT

Two head structures (i.e. fully connected head and convolution head) have been widely used in R-CNN based detectors for classification and localization tasks. However, there is a lack of understanding of how does these two head structures work for these two tasks. To address this issue, we perform a thorough analysis and find an interesting fact that the two head structures have opposite preferences towards the two tasks. Specifically, the fully connected head (fc-head) is more suitable for the classification task, while the convolution head (conv-head) is more suitable for the localization task. Furthermore, we examine the output feature maps of both heads and find that fc-head has more spatial sensitivity than conv-head. Thus, fc-head has more capability to distinguish a complete object from part of an object, but is not robust to regress the whole object. Based upon these findings, we propose a Double-Head method, which has a fully connected head focusing on classification and a convolution head for bounding box regression. Without bells and whistles, our method gains +3.5 and +2.8 AP on MS COCO dataset from Feature Pyramid Network (FPN) baselines with ResNet-50 and ResNet-101 backbones, respectively.

研究の動機と目的

• 完全結合ヘッドと畳み込みヘッドがR-CNNベースの検出器における分類および局所化タスクにおいて果たす役割の違いを調査すること。
• 既存の二ヘッド設計がヘッドタスクの不一致により性能を発揮できない理由を理解すること。
• 各ヘッド構造の空間的感度および特徴表現能力を分析すること。
• 実証的発見に基づいて、二ヘッド検出器におけるヘッド割り当ての見直しを提案すること。
• 追加のコンponentsや装飾的な要素を一切使用せずに、MS COCOで最先端の性能を達成すること。

提案手法

• 本手法は、分類に専用の完全結合ヘッド、境界ボックス回帰に畳み込みヘッドを備えたDouble-Head R-CNNアーキテクチャを導入する。
• 完全結合ヘッドの高い空間的感度を活用し、分類時に完全なオブジェクトと部分的なオブジェクトをより明確に区別できるようにする。
• 局所化には、境界ボックス座標の回帰において優れた耐性を示す畳み込みヘッドを採用する。
• アーキテクチャは、特徴フュージョンネットワーク（FPN）をネックとして、ResNet-50およびResNet-101バックボーンを用いてMS COCO上で検証された。
• 追加のコンponentsやトレーニングテクニックは使用せず、性能向上が純粋にアーキテクチャの再考によるものであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 完全結合ヘッドと畳み込みヘッドは、分類と局所化タスクにおいてどのように異なる好みを示すのか？
• RQ2 各ヘッド構造の空間的感度は何か？ そして、それがオブジェクト認識および局所化にどのように影響するか？
• RQ3 ヘッドをその好むタスクに再割り当てすることで、検出性能を向上させられるか？
• RQ4 現在のR-CNN検出器における二ヘッド設計が、なぜ各ヘッドタイプの強みを十分に活用できないのか？
• RQ5 分離されたヘッド割り当て戦略は、異なるバックボーンアーキテクチャにおいて一貫したAP向上をもたらすか？

主な発見

• 完全結合ヘッドは高い空間的感度を示し、完全なオブジェクトと部分的なオブジェクトをより効果的に区別できる。
• 畳み込みヘッドは境界ボックス回帰においてより優れた耐性を示し、局所化タスクで完全結合ヘッドを上回る。
• 完全結合ヘッドを分類、畳み込みヘッドを局所化に再割り当てすることで、ResNet-50バックボーンを用いたMS COCOで+3.5のAP向上が達成された。
• 同様の再割り当ては、ResNet-101バックボーンでも+2.8のAP向上をもたらし、アーキテクチャ全体にわたる一貫性のある改善を示した。
• 追加のコンponentsやトレーニングの変更なしに性能向上が達成されたため、アーキテクチャの再考の有効性が裏付けられた。