[論文レビュー] GrooMeD-NMS: Grouped Mathematically Differentiable NMS for Monocular 3D Object Detection

Abhinav Kumar, Garrick Brazil+1 more|arXiv (Cornell University)|Mar 31, 2021

Advanced Neural Network Applications参考文献 87被引用数 7

ひとこと要約

GrooMeD-NMS は、モノクローラ3次元オブジェクト検出における微分可能で閉形式の非最大抑制（NMS）手法を導入し、NMSの後に損失関数を適用できるエンドツーエンド学習を可能にした。NMSを行列演算として定式化し、教師なしのグループ化とマスキングを適用することで、KITTIベンチマークで最先端の性能を達成し、単一画像および動画ベースの手法を上回った。

ABSTRACT

Modern 3D object detectors have immensely benefited from the end-to-end learning idea. However, most of them use a post-processing algorithm called Non-Maximal Suppression (NMS) only during inference. While there were attempts to include NMS in the training pipeline for tasks such as 2D object detection, they have been less widely adopted due to a non-mathematical expression of the NMS. In this paper, we present and integrate GrooMeD-NMS -- a novel Grouped Mathematically Differentiable NMS for monocular 3D object detection, such that the network is trained end-to-end with a loss on the boxes after NMS. We first formulate NMS as a matrix operation and then group and mask the boxes in an unsupervised manner to obtain a simple closed-form expression of the NMS. GrooMeD-NMS addresses the mismatch between training and inference pipelines and, therefore, forces the network to select the best 3D box in a differentiable manner. As a result, GrooMeD-NMS achieves state-of-the-art monocular 3D object detection results on the KITTI benchmark dataset performing comparably to monocular video-based methods. Code and models at https://github.com/abhi1kumar/groomed_nms

研究の動機と目的

• モノクローラ3次元オブジェクト検出における学習と推論の不一致を解消する。具体的には、NMSが学習時には適用されないが、推論時には適用されるという点に焦点を当てる。
• バックプロパゲーションを可能にする数学的に微分可能なNMSを構築し、3次元ボックス選択の勾配ベース最適化を可能にする。
• 微分可能なNMSを用いて、ネットワークが最良の局在化性能を持つボックスを選択するように学習させることで、予測ボックススコアと3次元IoUの相関を向上させる。
• ヒューリスティックまたは非微分可能な後処理の必要性を排除し、NMSを学習可能なGPUフレンドリーなレイヤーとして訓練パイプラインに統合する。

提案手法

• IoU行列とスコアベクトルを用いて、古典的NMSを行列演算として定式化し、微分可能な計算を可能にする。
• 候補ボックスの教師なしグループ化とマスキングを導入することで、NMS式を簡素化し、行列逆行列の必要性を排除する。
• NMSにおけるハードスレッショルド処理を、勾配伝播を維持するソフトプリーニング関数（例：線形、指数関数的、シグモイド型）に置き換える。
• GrooMeD-NMSをネットワーク内の微分可能なレイヤーとして統合し、NMS後の損失からネットワークパラメータへ勾配が流れ込むようにする。
• 画像単位のAP損失（imagewise AP）を用いて、学習と推論の整合性を高め、一般化性能を向上させる。
• 自己バランススコアと分類スコアを組み合わせることで、NMS中の局在精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 行列演算を用いて、閉形式の表現として数学的に微分可能なNMSを定式化できるか？ これはエンドツーエンド3次元オブジェクト検出に適しているか？
• RQ2 NMSを訓練パイプラインに統合することで、予測ボックススコアと3次元IoUの相関が向上するか？
• RQ3 教師なしグループ化とマスキングにより、微分可能なNMS式は簡素化され、勾配伝播と性能を維持できるか？
• RQ4 NMS後の損失を用いた学習により、モノクローラ3次元検出ベンチマークにおける一般化性能と最先端の性能が向上するか？

主な発見

• GrooMeD-NMS はKITTIベンチマークで最先端の性能を達成し、Val 1 スプリットにおいて0.7 IoUで3D mAP 19.67%、0.5 IoUで14.32%を記録し、以前の最先端手法を上回った。
• KITTI Val 2 スプリットでは0.7 IoUで3D mAP 55.62%を達成し、M3D-RPNおよびKinematic (Image) ベースラインを上回った。
• NMS後のスコア-IoU相関は0.345に達し、M3D-RPN、Kinematic (Image)、さらにはKinematic (Video) をも上回り、スコアと局在品質の整合性が向上したことを証明した。
• GrooMeD-NMSを用いた学習により、学習と推論の性能ギャップが縮小され、中程度および困難な難易度セットにおいて一貫した改善が確認された。
• 1枚あたりの推論時間は0.15msであり、古典的NMS（0.12ms）と比較してわずかに増加したが、推論時に古典的NMSに切り替えても性能に変化はなかった。
• アブレーションスタディの結果、自己バランススコアと画像単位のAP損失を用いることで性能が向上し、分類スコアのみをNMSに用いることは性能を劣化させることが判明した。