[論文レビュー] DEVIANT: Depth EquiVarIAnt NeTwork for Monocular 3D Object Detection

Abhinav Kumar, Garrick Brazil+3 more|arXiv (Cornell University)|Jul 21, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

DEVIANT は、標準的な畳み込みをスケール等変換可能な回転可能ブロックに置き換えることで、射影多様体における深度の平行移動に等変換性を持つ深さ等変換ニューラルネットワークを提案する。この設計により、深度推定の一貫性が向上し、画像のみのカテゴリにおいて KITTI および Waymo ベンチマークで最先端の性能を達成するとともに、クロスデータセット評価において優れた一般化性能を示す。

ABSTRACT

Modern neural networks use building blocks such as convolutions that are equivariant to arbitrary 2D translations. However, these vanilla blocks are not equivariant to arbitrary 3D translations in the projective manifold. Even then, all monocular 3D detectors use vanilla blocks to obtain the 3D coordinates, a task for which the vanilla blocks are not designed for. This paper takes the first step towards convolutions equivariant to arbitrary 3D translations in the projective manifold. Since the depth is the hardest to estimate for monocular detection, this paper proposes Depth EquiVarIAnt NeTwork (DEVIANT) built with existing scale equivariant steerable blocks. As a result, DEVIANT is equivariant to the depth translations in the projective manifold whereas vanilla networks are not. The additional depth equivariance forces the DEVIANT to learn consistent depth estimates, and therefore, DEVIANT achieves state-of-the-art monocular 3D detection results on KITTI and Waymo datasets in the image-only category and performs competitively to methods using extra information. Moreover, DEVIANT works better than vanilla networks in cross-dataset evaluation. Code and models at https://github.com/abhi1kumar/DEVIANT

研究の動機と目的

• 標準的な CNN が 2D 平行移動にのみ等変換性を有するのに対し、モノクローラル検出が行われる 3D 射影多様体との不一致を解消すること。
• モノクローラル 3D ディテクションにおいて本質的に不定かつ誤差の多い深度推定の一貫性を向上させること。
• バックボーンに深さ等変換性を埋め込むことで、特にクロスデータセット評価における一般化性能を向上させること。
• 射影多様体における深さの平行移動への等変換性が、より強固で正確な 3D ディテクションをもたらすことを示すこと。

提案手法

• バックボーン内の標準的な畳み込みブロックを、スケール等変換可能な回転可能畳み込みブロックに置き換えることで、深さ（スケール）変換への等変換性を強制する。
• 自動運転における自己移動の現実的な仮定の下で [30] の理論的結果を活用し、深さの平行移動の代理としてスケール変換を導出する。
• 自己移動に伴うスケール変換に対応する特徴マップの変換の一貫性を保証することで、深さ等変換性を実現する。
• 計算効率を維持しつつ、ネットワークアーキテクチャに等変換性を埋め込むために、既存のスケール等変換可能なビルディングブロックを活用する。
• 変更されたバックボーンを用いて、GUP-Net や CenterNet からの標準的な検出ヘッドを訓練することで、検出ヘッドの性能を維持する。
• スケール変換における等変換誤差を測定する制御実験を通じて、等変換性を検証する。

実験結果

リサーチクエスチョン

• RQ1 射影多様体における深さの平行移動への等変換性を強制することで、モノクローラル 3D オブジェクト検出の性能向上、特に深さ推定の一貫性が向上するか？
• RQ2 射影多様体における深さの平行移動への等変換性を埋め込むことで、データセット間での一般化性能が向上するか？
• RQ3 DEVIANT アーキテクチャは、vanilla CNN バックボーンと比較して、深さ推定の精度と耐性にどの程度優れているか？
• RQ4 深さ等変換性は、モノクローラル 3D ディテクションにおける訓練と検証の間の一般化ギャップをどの程度縮小するか？

主な発見

• DEVIANT は、画像のみのカテゴリにおいて KITTI および Waymo データセットで最先端の性能を達成し、先行する SOTA メソッドを上回る。
• DEVIANT は、vanilla CNN よりも顕著に低い深さ等変換誤差を示しており、深さ等変換性の成功した統合が確認された。
• クロスデータセット評価（KITTI モデルを nuScenes でテスト）において、DEVIANT はベースラインモデルよりも優れた一般化性能を示し、誤検出の数が少なく、より正確な 3D ボックスを生成した。
• KITTI、nuScenes、Waymo における定性的な結果から、DEVIANT の予測は GUP-Net よりも常に真値に近づいており、時間情報がなくてもより安定したボックスの向きを示した。
• 等変換誤差デモにより、DEVIANT がスケール変換の全範囲で低い誤差を維持していることが確認され、理論的設計の妥当性が裏付けられた。
• DEVIANT は、時間情報を利用せずに、生の KITTI 動画シーケンスにおいても安定的かつ正確な 3D ディテクションを達成しており、耐性の高さが示された。