[論文レビュー] Monocular 3D Object Detection: An Extrinsic Parameter Free Approach

Yunsong Zhou, Yuan He+4 more|arXiv (Cornell University)|Jun 30, 2021

Advanced Neural Network Applications参考文献 60被引用数 4

ひとこと要約

本論文は、単眼画像から消失点および水平線検出によりカメラ姿勢を推定することで、カメラ外部パラメータの摂動に対する感受性を解消するモノクローラ3次元物体検出フレームワークMonoEFを提案する。推定された外部パラメータでガイドされた学習済み特徴変換ネットワークを用いることで、KITTI 3DおよびnuScenesで最先端の性能を達成し、既存手法が姿勢に起因する歪みによって失敗する不整地の道路上でも顕著に精度が向上する。

ABSTRACT

Monocular 3D object detection is an important task in autonomous driving. It can be easily intractable where there exists ego-car pose change w.r.t. ground plane. This is common due to the slight fluctuation of road smoothness and slope. Due to the lack of insight in industrial application, existing methods on open datasets neglect the camera pose information, which inevitably results in the detector being susceptible to camera extrinsic parameters. The perturbation of objects is very popular in most autonomous driving cases for industrial products. To this end, we propose a novel method to capture camera pose to formulate the detector free from extrinsic perturbation. Specifically, the proposed framework predicts camera extrinsic parameters by detecting vanishing point and horizon change. A converter is designed to rectify perturbative features in the latent space. By doing so, our 3D detector works independent of the extrinsic parameter variations and produces accurate results in realistic cases, e.g., potholed and uneven roads, where almost all existing monocular detectors fail to handle. Experiments demonstrate our method yields the best performance compared with the other state-of-the-arts by a large margin on both KITTI 3D and nuScenes datasets.

研究の動機と目的

• 不整地やくぼみのある道路など、実世界の自動運転シナリオにおけるカメラ外部パラメータの変動という重要な課題に取り組む。
• 固定されたカメラ姿勢を仮定する既存の単眼3次元検出器が、道路に起因する動的な姿勢変化に対して失敗するという限界を克服する。
• LiDAR、レーダー、マルチカメラシステムに依存せずに、外部パラメータの変動に対して頑健な3次元検出を実現する手法を開発する。
• カメラ姿勢推定を検出パイプラインに直接統合し、道路に起因するカメラの傾きや回転に起因する特徴の歪みを暗黙的に補正する。
• リアルタイム推論効率を維持したまま、標準ベンチマークで最先端の性能を達成する。

提案手法

• 単眼画像から消失点および水平線を検出することで、カメラ外部パラメータ（地面平面に対する傾きおよび回転）を推定する。
• KITTIオドメトリーシーケンスを用いて教師あり学習で、専用の外部パラメータ回帰ネットワークを訓練する。
• 予測された外部パラメータをシードとして用いることで、特徴空間内の潜在的特徴を補正する特徴変換ネットワークを設計する。
• 推論時に変換ネットワークを適用し、3次元ボックス予測の前に特徴マップの摂動を補正する。
• バックボーンを変更せずにベース検出器（例：SMOKE）に外部パラメータに強いモジュールを統合し、プラグアンドプレイによる強化を可能にする。
• 推定されたカメラジオメトリを用いて、補正された3次元予測を現実世界座標系に再投影する。

実験結果

リサーチクエスチョン

• RQ1 不整地に起因するカメラ外部パラメータの変動に対して、単眼3次元検出が頑健に動作できるか。
• RQ2 単眼画像からの消失点および水平線検出が、姿勢摂動下での3次元検出精度をどの程度向上できるか。
• RQ3 特徴空間に推定されたカメラ姿勢を統合することで、現実世界の不整地の状況における一般化性能が向上するか。
• RQ4 学習済み特徴変換ネットワークは、訓練時に真値の外部パラメータデータが不要であるにもかかわらず、外部パラメータに起因する歪みを効果的に補正できるか。
• RQ5 ポーズ変動あり・なしのベンチマークにおいて、本手法は最先端の単眼検出器と比較して、精度および頑健性の面で優れているか。

主な発見

• MonoEFはKITTI 3Dベンチマークで41.78%のAP3Dを達成し、ベースラインのSMOKE（34.98%）およびM3D-RPN（+E.F.: 41.36%）やKinematic3D（+E.F.: 48.92%）といった最先端手法を顕著に上回る。
• KITTIオドメトリーシーケンス08において、本モデルは最先端のビジュアルオドメトリ手法と同等のカメラ姿勢推定精度を達成し、ピッチ方向で0.87°、ロール方向で0.92°の角度誤差を示した。
• 特徴補正モジュールは、nuScenesにおいてATE（平均移動誤差）およびASE（平均スケール誤差）を大幅に低減し、3次元位置推定精度の向上を実証した。
• アブレーションスタディにより、外部パラメータ補正が、初期のポーズ不一致が顕著なシングルシーケンス学習において顕著な性能向上をもたらすことが確認された。
• MonoEFは低遅延推論を維持しており、疑似LiDAR生成やペアベースの最適化を必要とする手法を上回る性能を示した。
• 他の最先端検出器（例：M3D-RPN、Kinematic3D）に適用した場合にも、外部パラメータ補正モジュールは一貫して性能を向上させ、汎用性を証明した。