[論文レビュー] CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

Zhiwei Dong, Guoxuan Li+4 more|arXiv (Cornell University)|Mar 20, 2020

Advanced Neural Network Applications参考文献 39被引用数 29

ひとこと要約

CentripetalNetは、各コーナーからボックスの中心への2次元ベクトル（重心シフト）を用いることで、空間的な幾何構造を活用して、アンカーフリー物体検出におけるコーナー照合の精度を向上させる新しい照合手法を提案する。重心シフトと、特徴の適応を強化するクロススターデフォーマブルコンボリューションモジュールを組み合わせることで、MS-COCO test-devで48.0%のAPを達成し、既存のすべてのアンカーフリー検出器を上回り、40.2%のMaskAPを達成することで、最先端のインスタンスセグメンテーションモデルと同等の性能を示した。

ABSTRACT

Keypoint-based detectors have achieved pretty-well performance. However, incorrect keypoint matching is still widespread and greatly affects the performance of the detector. In this paper, we propose CentripetalNet which uses centripetal shift to pair corner keypoints from the same instance. CentripetalNet predicts the position and the centripetal shift of the corner points and matches corners whose shifted results are aligned. Combining position information, our approach matches corner points more accurately than the conventional embedding approaches do. Corner pooling extracts information inside the bounding boxes onto the border. To make this information more aware at the corners, we design a cross-star deformable convolution network to conduct feature adaption. Furthermore, we explore instance segmentation on anchor-free detectors by equipping our CentripetalNet with a mask prediction module. On MS-COCO test-dev, our CentripetalNet not only outperforms all existing anchor-free detectors with an AP of 48.0% but also achieves comparable performance to the state-of-the-art instance segmentation approaches with a 40.2% MaskAP. Code will be available at https://github.com/KiveeDong/CentripetalNet.

研究の動機と目的

• 特に密集している、または視覚的に類似した物体が多数存在する状況において、アンカーフリー検出器における誤ったキーポイント照合の課題に対処すること。
• 外れ値や類似した外観に敏感な、外観に依存するアソシエイティブエンコーディングに基づくコーナー照合の限界を克服すること。
• 新しいデフォーマブルコンボリューションモジュールを用いて、幾何的構造と文脈を明示的にモデル化することで、コーナー位置における特徴表現を向上させること。
• マスク予測ヘッドを導入することで、アンカーフリー検出器におけるエンドツーエンドのインスタンスセグメンテーションを可能にし、マルチタスク学習による検出精度の向上を図ること。

提案手法

• 重心シフトを導入：各コーナーからそのバウンディングボックスの中心への2次元ベクトルを定義し、コーナー同士の幾何的整合性をチェック可能にする。
• シフトされた位置の整合性に基づいてコーナーを照合する——2つのコーナーが同じインスタンスに属するかどうかは、それらのシフトされた中心が近いかどうかで判断する。
• コーナープール出力における「クロススターパターン」に沿って特徴をサンプリングする、クロススターデフォーマブルコンボリューションモジュールを設計し、幾何的および文脈的特徴の学習を強化する。
• コーナープールを用いて、物体の特徴を内部からバウンディングボックスの境界まで伝搬させ、コーナー位置での構造的情報を保持する。
• RoIAlignとマスクヘッドを用いたマスク予測ヘッドを統合し、アンカーフリー検出器上でエンドツーエンドのインスタンスセグメンテーションを可能にする。
• キーポイント分類、重心シフト回帰、マスク予測の組み合わせでモデルを訓練し、標準的な検出およびセグメンテーション損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 外観に基づくアソシエイティブエンコーディングを越えて、幾何的および位置的情報を活用することで、キーポイント照合の精度を向上させることができるか？
• RQ2 類似した外観や密集した物体の状況において、重心シフトに基づく照合はアソシエイティブエンコーディングに比べてどれほど頑健であるか？
• RQ3 コーナー特徴における「クロススターパターン」を活用する専用のデフォーマブルコンボリューションモジュールは、キーポイント予測のための特徴表現を向上させることができるか？
• RQ4 インスタンスセグメンテーションを用いたマルチタスク学習は、アンカーフリー物体検出器の性能をどの程度向上させるか？
• RQ5 アンカーボックスに依存しない検出器が、オブジェクト検出およびインスタンスセグメンテーションの両面で最先端の性能を達成できるか？

主な発見

• CentripetalNetは、MS-COCO test-devで48.0%のAPを達成し、既存のすべてのアンカーフリー検出器を上回り、この分野における新たなSOTAを樹立した。
• 同じバックボーンを用いた場合、MS-COCO test-dev2017において、CornerNetの42.1%から47.8%へAPが向上し、重心シフトの有効性を実証した。
• クロススターデフォーマブルコンボリューションは、標準的なデフォーマブルコンボリューションやRoIコンボリューションを上回り、特徴適応なしで41.5%のAP、$AP_M$で44.1%のAPを達成した。
• マスク予測ヘッドを追加すると、110エポック後には$AP_{bbox}$が0.3%向上し、210エポック後には0.4%向上した。これはマルチタスク学習が重心シフト予測に利益をもたらしていることを示している。
• CentripetalNetは、MS-COCOで40.2%のMaskAPを達成し、最先端のインスタンスセグメンテーション手法と同等の性能を示した。
• 定性的な結果から、CentripetalNetはCornerNetで一般的に見られる誤検出のコーナーペアを効果的に排除し、CenterNetに見られる中心検出依存の問題を回避していることがわかった。