[論文レビュー] Scalable Vision-Based 3D Object Detection and Monocular Depth Estimation for Autonomous Driving

Yuxuan Liu|arXiv (Cornell University)|Mar 4, 2024

Industrial Vision Systems and Defect Detection被引用数 4

ひとこと要約

本学位論文は、自律走行を目的としたスケーラブルでビジュアルオンリーの3次元認識手法を提案し、幾何的プリオンを統合した改善型単眼およびステレオ3次元検出と、独創的な自己教師付き深度推定パイプライン（FSNet）を導入している。複数のベンチマークで最先端の性能を達成し、3Dアノテーションのないデータセットへのゼロショット転送を可能にした。LiDARを用いない実世界および360°カメラデータにおいても、強力な耐障害性を示した。

ABSTRACT

This dissertation is a multifaceted contribution to the advancement of vision-based 3D perception technologies. In the first segment, the thesis introduces structural enhancements to both monocular and stereo 3D object detection algorithms. By integrating ground-referenced geometric priors into monocular detection models, this research achieves unparalleled accuracy in benchmark evaluations for monocular 3D detection. Concurrently, the work refines stereo 3D detection paradigms by incorporating insights and inferential structures gleaned from monocular networks, thereby augmenting the operational efficiency of stereo detection systems. The second segment is devoted to data-driven strategies and their real-world applications in 3D vision detection. A novel training regimen is introduced that amalgamates datasets annotated with either 2D or 3D labels. This approach not only augments the detection models through the utilization of a substantially expanded dataset but also facilitates economical model deployment in real-world scenarios where only 2D annotations are readily available. Lastly, the dissertation presents an innovative pipeline tailored for unsupervised depth estimation in autonomous driving contexts. Extensive empirical analyses affirm the robustness and efficacy of this newly proposed pipeline. Collectively, these contributions lay a robust foundation for the widespread adoption of vision-based 3D perception technologies in autonomous driving applications.

研究の動機と目的

• 高価なLiDARアノテーションデータに依存するのを減らすことで、自律走行におけるビジュアルベース3次元認識のスケーラビリティとデータ効率の限界を解消する。
• 地面に依存する幾何的プリオンと洗練されたネットワークアーキテクチャを統合することで、単眼3次元オブジェクト検出の精度を向上させる。
• 単眼モデルからの知識蒸留と効率的なマルチスケール特徴抽出を活用することで、ステレオ3次元検出を強化する。
• 2Dおよび3次元アノテーションデータを統合した共同学習戦略を設計し、モデルの一般化性能と実装可能性を向上させる。
• 画像シーケンスとポーズプリオンを活用した自己教師付きフルスケール深度推定パイプラインを実現し、パースペクティブおよびファイッシュアイカメラで高い性能を達成する。

提案手法

• 3次元アノテーションから得られる幾何的プリオンをエンコードする「グランドアウェア畳み込みモジュール」を導入し、単眼3次元検出の精度を向上させる。
• 密度接続されたゴーストモジュールと階層的マルチスケール統合を備えた軽量なコストボリュームを採用し、効率的なステレオ特徴抽出を実現する。
• カメラパラメータとクラス分布のシフトを考慮した選択的訓練戦略を設計し、異なるデータセットに適応可能なモデルを実現する。
• 再構成損失と光流マスクを活用した自己蒸留ベースの自己教師付き深度推定フレームワークであるFSNetを提案し、動的物体の処理を可能にする。
• ポーズプリオンをネットワーク入力に直接統合し、最適化ベースの後処理を適用することで、オンラインでの深度予測を精緻化する。
• マルチチャネル出力と補助的ディスパリティ監視を導入し、別個のPoseNetを必要とせずに学習の安定化を実現する。

実験結果

リサーチクエスチョン

• RQ1 シーンの地面平面から導出される幾何的プリオンを統合することで、単眼3次元検出はどの程度向上するか？
• RQ2 単眼ネットワークからの構造的インサイトを転送することで、ステレオ3次元検出性能はどの程度向上するか？
• RQ3 2Dおよび3次元アノテーションデータを統合した統一された訓練戦略は、多様なデータセット間でのモデル一般化を効果的に向上させられるか？
• RQ4 画像シーケンスのポーズと再構成損失を活用した自己教師付き深度推定パイプラインは、実世界の自律走行においてどの程度効果的か？
• RQ5 提案手法は、LiDARを搭載しない埋め込みシステム、特に360°ファイッシュアイカメラに対しても、高品質な3次元認識を達成できるか？

主な発見

• 幾何的プリオンを統合した提案された単眼3次元検出器は、KITTI、nuScenes、Cityscapesベンチマークで最先端の性能を達成した。
• 単眼モデルからの知識とマルチスケール統合を活用したステレオ3次元検出フレームワークは、推論効率と精度の両方を向上させた。
• 共同訓練戦略により、3次元アノテーションのない自作データに対しても、強力なゼロショット一般化性能を発揮し、高品質な予測を生成した。
• FSNetフレームワークは、公的データセットで競争力のある深度推定性能を達成し、ファイッシュアイおよび360°カメラデータに対しても耐障害性を示した。
• 最終的なシステムは、埋め込みプラットフォーム上でリアルタイムにLiDARフリーの3次元認識を実現し、ビジュアルオンリー3次元認識の実用可能性を裏付けた。
• アブレーションスタディにより、FSNetの各構成要素（自己蒸留、光流マスク）の有効性が確認され、特に動的シーンの処理において顕著な効果を示した。