[論文レビュー] NETNet: Neighbor Erasing and Transferring Network for Better Single Shot Object Detection

Yazhao Li, Yanwei Pang+3 more|arXiv (Cornell University)|Jan 18, 2020

Advanced Neural Network Applications参考文献 24被引用数 8

ひとこと要約

NETNetは、特徴再構成によるスケールに敏感な特徴を生成することで、1ショットオブジェクト検出を改善するためのネイバー消去および転送（NET）メカニズムを提案する。ネイバー消去モジュール（NEM）を用いて浅い層の大きなオブジェクトの特徴を抑制し、ネイバー転送モジュール（NTM）を用いてこれらの特徴を深い層に転送することで、小さなオブジェクトの誤検出（偽陰性）を著しく低減し、大きなオブジェクトの部分誤検出（部分偽陽性）も低減する。NETNetはMS COCOで27 FPSで38.5% AP、55 FPSで32.0% APを達成し、優れたリアルタイム性能と精度のトレードオフを示している。

ABSTRACT

Due to the advantages of real-time detection and improved performance, single-shot detectors have gained great attention recently. To solve the complex scale variations, single-shot detectors make scale-aware predictions based on multiple pyramid layers. However, the features in the pyramid are not scale-aware enough, which limits the detection performance. Two common problems in single-shot detectors caused by object scale variations can be observed: (1) small objects are easily missed; (2) the salient part of a large object is sometimes detected as an object. With this observation, we propose a new Neighbor Erasing and Transferring (NET) mechanism to reconfigure the pyramid features and explore scale-aware features. In NET, a Neighbor Erasing Module (NEM) is designed to erase the salient features of large objects and emphasize the features of small objects in shallow layers. A Neighbor Transferring Module (NTM) is introduced to transfer the erased features and highlight large objects in deep layers. With this mechanism, a single-shot network called NETNet is constructed for scale-aware object detection. In addition, we propose to aggregate nearest neighboring pyramid features to enhance our NET. NETNet achieves 38.5% AP at a speed of 27 FPS and 32.0% AP at a speed of 55 FPS on MS COCO dataset. As a result, NETNet achieves a better trade-off for real-time and accurate object detection.

研究の動機と目的

• 1ショットオブジェクト検出におけるスケール変動の持続的課題、特に小さなオブジェクトの偽陰性と大きなオブジェクトの部分偽陽性を解決すること。
• 浅い層で大きなオブジェクトの特徴が優勢になるピラミッド特徴表現におけるスケールの混同を克服すること。
• ピラミッド層間で特徴を選択的に消去および転送することで、スケールに敏感な特徉を生成するメカニズムを開発すること。
• 1ショット検出器におけるリアルタイム推論速度と検出精度のバランスを向上させること。

提案手法

• スケールに敏感な検出のため、ピラミッド層間で特徴を再構成するネイバー消去および転送（NET）メカニズムを提案する。
• 逆ゲート誘導消去手順を用いて、浅い層の大きなオブジェクトの顕著な特徴を抑制するネイバー消去モジュール（NEM）を設計する。
• 消去された大きなオブジェクトの特徴を深い層に転送することで、その表現を強化するネイバー転送モジュール（NTM）を導入する。
• SSDにNETを統合して、特徴集約とスケール認識を向上させるNETNetと呼ばれる変更済みの1ショット検出器を構築する。
• 近隣のピラミッド特徴を統合することで、さらに特徴表現と検出性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピラミッド層間での特徴再構成は、小さなオブジェクトの偽陰性検出を低減できるか？
• RQ2 大きなオブジェクトの顕著な部分を抑制することで、部分偽陽性検出が低減できるか？
• RQ3 浅い層から深い層に消去された特徴を転送することで、大きなオブジェクトの検出精度が向上するか？
• RQ4 統合されたメカニズムにより、1ショット検出器で小さなオブジェクト検出と大きなオブジェクトの局所化の両方を向上させられるか？

主な発見

• NETNetはMS COCOで27 FPSで38.5% AP、55 FPSで32.0% APを達成し、優れたリアルタイム性能と精度のトレードオフを示している。
• COCO minivalセットにおいて、ベースラインSSDと比較して誤検出数が約20,000件減少した。
• 誤検出率分析から、特に高い閾値条件下で部分偽陽性誤検出が顕著に低減されていることが示された。
• 小さなオブジェクトの偽陰性誤検出は、SSDの60.8%からNETNetでは39.8%に低下し、小さなオブジェクト検出における顕著な改善が確認された。
• 可視化結果から、NETNetが偽陰性および部分偽陽性問題の両方を効果的に軽減していることが確認された。