[論文レビュー] Multi-Modality Task Cascade for 3D Object Detection

Jinhyung Park, Xinshuo Weng+2 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 36被引用数 5

ひとこと要約

本稿では、2次元セマンティックセグメンテーション予測を用いて3次元オブジェクト候補を再帰的に精錬する、新しい3次元オブジェクト検出フレームワークであるMulti-Modality Task Cascade (MTC-RCNN) を提案する。2次元セグメンテーション予測は、3次元候補特徴によって強化される。3次元ボックス予測を2次元ネットワークに統合し、過学習を防ぐためにデュアルヘッド2次元学習方式を用いることで、追加の2次元アノテーションを必要とせずにSUN RGB-Dデータセットで最先端の性能を達成し、mAP@0.5を前人より+3.8向上させた。

ABSTRACT

Point clouds and RGB images are naturally complementary modalities for 3D visual understanding - the former provides sparse but accurate locations of points on objects, while the latter contains dense color and texture information. Despite this potential for close sensor fusion, many methods train two models in isolation and use simple feature concatenation to represent 3D sensor data. This separated training scheme results in potentially sub-optimal performance and prevents 3D tasks from being used to benefit 2D tasks that are often useful on their own. To provide a more integrated approach, we propose a novel Multi-Modality Task Cascade network (MTC-RCNN) that leverages 3D box proposals to improve 2D segmentation predictions, which are then used to further refine the 3D boxes. We show that including a 2D network between two stages of 3D modules significantly improves both 2D and 3D task performance. Moreover, to prevent the 3D module from over-relying on the overfitted 2D predictions, we propose a dual-head 2D segmentation training and inference scheme, allowing the 2nd 3D module to learn to interpret imperfect 2D segmentation predictions. Evaluating our model on the challenging SUN RGB-D dataset, we improve upon state-of-the-art results of both single modality and fusion networks by a large margin ($ extbf{+3.8}$ mAP@0.5). Code will be released $\href{https://github.com/Divadi/MTC_RCNN}{ ext{here.}}$

研究の動機と目的

• 2次元と3次元特徴を1方向で非相互作用的に統合する既存のマルチモodal 3次元検出手法の性能が不十分であるという問題に取り組む。
• 2次元RGB-D画像と3次元ポイントクラウドの相互補完性を活用し、2次元セグメンテーションと3次元検出の間で双方向の特徴精錬を可能にする。
• 訓練中に2次元ネットワークの過学習が発生し、これが3次元精錬性能を劣化させる問題を克服する。
• 2次元および3次元ネットワークが再帰的精錬を通じて共有され、強固な表現を学習できる共同学習フレームワークを開発する。
• 追加の2次元アノテーションを必要とせずに、SUN RGB-Dデータセットで最先端の3次元検出性能を達成する。

提案手法

• 3次元オブジェクト検出パイプラインの2段階の間に2次元セマンティックセグメンテーションネットワークを挿入するMulti-Modality Task Cascade (MTC-RCNN) を導入する。
• クラス予測とボックスパラメータから得られる3次元候補特徴を2次元セグメンテーションネットワークに統合し、2次元特徴学習を豊かにする。
• 2次元セグメンテーションネットワークを、追加の2次元ラベルを必要とせずに、真値の3次元アノテーションで監視する。
• 2次元セグメンテーション予測に点を投影し、チャネルごとの確率分布と3次元幾何特徴を連結した後、PointNetを用いて処理することで、2段階目に3次元候補を精錬する。
• 強力なメインヘッドと弱い補助ヘッドを持つデュアルヘッド2次元セグメンテーション学習方式を採用する。補助ヘッドは、3次元ネットワークが完璧な2次元予測に過剰に依存するのを防ぐために訓練時に使用される。
• 推論時には、メインおよび補助2次元ヘッドの予測をアンサンブルすることで、耐性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元候補特徴を2次元セグメンテーションネットワークに統合することで、2次元セグメンテーションの品質が著しく向上し、その結果として3次元オブジェクト検出性能が向上するか？
• RQ2 2次元セグメンテーションと3次元検出の間で再帰的かつ双方向のカスケードを実現することで、単一方向の統合よりも優れた性能が得られるか？
• RQ3 デュアルヘッド2次元学習戦略により、2次元ネットワークの過学習が緩和され、3次元精錬段階の一般化性能が向上するか？
• RQ4 MTC-RCNNをPointPaintingなどの既存の3次元検出フレームワークと統合した場合、性能にどのような影響を与えるか？
• RQ5 2次元mIoUと3次元mAPの相関関係はどの程度か？また、1つの3次元候補あたりの点数はこの関係にどのように影響するか？

主な発見

• MTC-RCNNはSUN RGB-Dデータセットで最先端の手法を+3.8 mAP@0.5向上させ、新たなSoTAを樹立した。
• 2次元監視と2次元予測（生の特徴ではなく）を用いた2次元から3次元への統合により、3次元mAPが3Dオンリーベースライン比で+3.0向上した。
• 訓練時に弱い補助2次元ヘッドを使用することで、訓練時とテスト時のmIoUの差が縮まり、3次元検出のmAPが+1.5向上した。
• 推論時にメインおよび補助2次元ヘッドの予測をアンサンブルすることで、3次元mAPは31.80に上昇し、2次元mIoUは52.91に達した。
• 1つの3次元候補あたりの点数が性能に影響を与える：点数を512から2048に増加させると、3次元mAPは31.09から31.46に向上したが、2次元mIoUは1024点でピークに達した。
• 3次元候補特徴を2次元ネットワークに統合することで、2次元mIoUは46.05から51.03に、3次元mAPは31.05から31.46に向上し、3次元から2次元への特徴統合の有効性が確認された。