[論文レビュー] End-to-End Object Detection with Fully Convolutional Network

Jianfeng Wang, Lin Song+4 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Neural Network Applications参考文献 57被引用数 13

ひとこと要約

本論文は、予測感知型ワン・トゥ・ワン（POTO）ラベル割り当てと3次元最大フィルタリング（3DMF）を導入することで、完全畳み込みネットワークを用いたエンド・ツー・エンドのオブジェクト検出フレームワークを提案する。これにより、非最大抑制（NMS）の必要性が排除される。本手法は、COCOで1.1% mAPの向上、CrowdHumanで6.0% mMRの向上を達成し、混雑したシーンにおけるロバスト性が向上している。

ABSTRACT

Mainstream object detectors based on the fully convolutional network has achieved impressive performance. While most of them still need a hand-designed non-maximum suppression (NMS) post-processing, which impedes fully end-to-end training. In this paper, we give the analysis of discarding NMS, where the results reveal that a proper label assignment plays a crucial role. To this end, for fully convolutional detectors, we introduce a Prediction-aware One-To-One (POTO) label assignment for classification to enable end-to-end detection, which obtains comparable performance with NMS. Besides, a simple 3D Max Filtering (3DMF) is proposed to utilize the multi-scale features and improve the discriminability of convolutions in the local region. With these techniques, our end-to-end framework achieves competitive performance against many state-of-the-art detectors with NMS on COCO and CrowdHuman datasets. The code is available at https://github.com/Megvii-BaseDetection/DeFCN .

研究の動機と目的

• 完全畳み込みオブジェクト検出器におけるエンド・ツー・エンド学習から非最大抑制（NMS）を排除すること。
• アンカー自由検出器における1対多ラベル割り当てによって引き起こされる重複予測の課題に対処すること。
• 混雑したおよび複雑なシーンにおける特徴の識別性と局所化精度を向上させること。
• ヒューリスティックな後処理を学習可能で空間的に注意を向けるモジュールに置き換えることで、完全微分可能な学習を可能にすること。
• POTOおよび3DMFを用いたエンド・ツー・エンド学習が、NMSベースのSOTA検出器と比較して競争力ある、あるいは優れた性能を達成できることを示すこと。

提案手法

• 分類と回帰の品質を統合的に評価し、1つの正例を1つのアノテーションごとに動的に割り当てる予測感知型ワン・トゥ・ワン（POTO）ラベル割り当てを提案する。
• 隣接する特徴ピラミッドレベルに跨がる空間的・スケール的フィルタリングを実行する、微分可能で多次元の空間フィルタリングモジュール「3次元最大フィルタリング（3DMF）」を導入する。
• 特徴学習のための十分な監督を提供しつつもエンド・ツー・エンド学習を維持できるよう、1対多ラベル割り当てに基づく補助損失を採用する。
• COCOおよびCrowdHumanでの評価のため、ResNeXt-101およびResNet-50バックボーンを用いてFCOSフレームワークにPOTOおよび3DMFを統合する。
• 空間的およびスケール的次元に跨がる3次元最大プーリング操作（カーネルサイズφ=3, τ=2）を用いることで、局所領域の識別性を向上させる。
• NMSを学習可能で微分可能なコンponentsに置き換えることで、手動で設計された後処理を排除し、完全なエンド・ツー・エンド最適化を可能にする。

Figure 1: As shown in the dashed box, most detectors based on the fully convolutional network adopt multiple predictions and NMS post-processing for each instance. With the proposed prediction-aware one-to-one label assignment and 3D Max Filtering, our end-to-end detector can directly perform a sing

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みオブジェクト検出器は、非最大抑制（NMS）の後処理を排除した上で、競争力のある性能を達成できるか？
• RQ2 アンカー自由検出器における効果的なエンド・ツー・エンド学習を可能にするラベル割り当て戦略は何か？
• RQ3 多次元特徴表現をどのように活用することで、オブジェクト検出における重複予測を低減できるか？
• RQ4 微分可能で空間的に注意を向けるフィルタリング機構は、混雑したシーンにおける検出性能とロバスト性を向上させるか？
• RQ5 POTOおよび3DMFを用いたエンド・ツー・エンド学習は、COCOやCrowdHumanといった困難なベンチマークで、NMSベースのSOTA検出器を上回る性能を達成できるか？

主な発見

• 提案されたエンド・ツー・エンド検出器は、ResNeXt-101バックボーンを用いたCOCOで、NMS付きFCOSと比較して1.1%高いmAPを達成した。
• CrowdHumanデータセットでは、本手法はNMS付きFCOSと比較してAP50が3.0%高く、mMRが6.0%高い結果を示し、混雑したシーンにおける優れた性能を示した。
• エンド・ツー・エンドモデルのリcall率は、NMS付きのアノテーションボックスを上回っており、検出の完全性が向上していることを示している。
• 訓練の進行に伴い、エンド・ツー・エンドモデルとNMSベースモデルとの性能差が縮小し、COCOでは180kイテレーション目でエンド・ツー・エンドモデルがベースラインを上回った。
• カーネルサイズφ=3およびτ=2の3DMFが最適な性能を達成しており、重複予測が隣接するスケール間の局所領域に起因していることを確認した。
• 計算コストの増加はわずかであり、ベースラインのNMSベース検出器と比較して推論コストがわずかに上昇するにとどまった。

Figure 2: The diagram of the head with 3D Max Filtering (3DMF) in a FPN stage. ‘POTO’ indicates the proposed Prediction-aware One-to-one Label Assignment rule to achieve end-to-end detection. ‘Conv + $\sigma$ ’ denotes a convolution layer followed by a sigmoid function [ 10 ] , which outputs coarsel