[論文レビュー] YOLOStereo3D: A Step Back to 2D for Efficient Stereo 3D Detection

Yuxuan Liu, Lujia Wang+1 more|arXiv (Cornell University)|Mar 17, 2021

Advanced Neural Network Applications参考文献 33被引用数 6

ひとこと要約

YOLOStereo3D は、マルチスケール特徴の階層的で密接に接続された統合を通じて、ステレオ検出を強化されたモノクロナル検出問題として扱う、軽量でワンステージのステレオ3D物体検出フレームワークを提案する。点単位の相関モジュールを用いて効率的なステレオマッチングを実現し、不透明なディスparity監視を用いたエンドツーエンド学習により、LiDARを一切使用しない状態で、1つのGPUで10 FPSを超える推論速度を達成し、KITTIベンチマークで競争力ある性能を示す。

ABSTRACT

Object detection in 3D with stereo cameras is an important problem in computer vision, and is particularly crucial in low-cost autonomous mobile robots without LiDARs. Nowadays, most of the best-performing frameworks for stereo 3D object detection are based on dense depth reconstruction from disparity estimation, making them extremely computationally expensive. To enable real-world deployments of vision detection with binocular images, we take a step back to gain insights from 2D image-based detection frameworks and enhance them with stereo features. We incorporate knowledge and the inference structure from real-time one-stage 2D/3D object detector and introduce a light-weight stereo matching module. Our proposed framework, YOLOStereo3D, is trained on one single GPU and runs at more than ten fps. It demonstrates performance comparable to state-of-the-art stereo 3D detection frameworks without usage of LiDAR data. The code will be published in https://github.com/Owen-Liuyuxuan/visualDet3D.

研究の動機と目的

• 密な深度再構築と擬似LiDARに依存する最先端のステレオ3D検出フレームワークの高い計算コストを低減すること。
• LiDARを搭載しない低コストの自律走行ロボットにおけるリアルタイムデプロイの可能性を向上させること。
• 2D検出フレームワークにステレオ特徴を効果的に統合することで3D検出が可能かどうかを検討すること。
• 高価なディスパリティ推定ネットワークへの依存度を低下させつつ、検出精度を維持すること。
• LiDARデータを一切使用せず、ステレオRGB画像のみで高い推論速度と競争力ある性能を達成すること。

提案手法

• リアルタイム2D/3D物体検出器にインspiredされたワンステージ検出アーキテクチャを採用し、アンカーベースの回帰により3Dバウンディングボックスを予測する。
• 効率性を高めるために、標準的な連結ベースのモジュールに代わって、点単位の相関モジュールを導入し、ステレオマッチング用のコストボリュームを構築する。
• ステレオマッチングモジュールを複数の特徴スケール（例：4, 8, 16）に階層的に適用し、マルチスケールのステレオ特徴を抽出する。
• RGB特徴とステレオ特徴の統合時に情報を保持するため、特徴チャネルを拡張する密接に接続されたゴーストモジュールを採用する。
• 計算コストと特徴の豊かさのバランスを考慮し、スケール間でステレオ特徴を階層的に統合する戦略を採用する。
• 真値LiDARを必要とせず、補助的なディスパリティ監視ヘッドを用いてエンドツーエンドで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 2D物体検出フレームワークにステレオ特徴を効果的に統合することで、競争力ある3D検出性能を達成できるか？
• RQ2 連結ベースのコストボリュームと比較して、点単位の相関モジュールを用いたステレオマッチングが、効率性と性能の両面で優れているか？
• RQ3 階層的でマルチスケールのステレオ特徴統合は、検出精度と推論速度にどのように影響を与えるか？
• RQ4 ディスパリティ監視は、ステレオ特徴の学習と最終的な検出性能にどの程度向上効果をもたらすか？
• RQ5 LiDARを一切使用せず、1つのGPUでリアルタイム推論（例：>10 FPS）を達成できるステレオ3D検出器を構築できるか？

主な発見

• YOLOStereo3D は1つのGPUで10 FPSを超える推論速度を達成し、LiDARベースや密な再構築ベースのフレームワークに比べて、推論効率において顕著に優れている。
• KITTIベンチマークにおいて、LiDARデータを一切使用しないにもかかわらず、最先端のステレオ3D検出器と同等のmAP性能を達成している。
• アブレーションスタディの結果、単純な1×1畳み込みやチャネル削減と比較して、密接に接続されたゴーストモジュールが特徴表現を向上させていることが確認された。
• スケール8および16でのステレオ特徴の階層的統合は、単一スケールや部分的スケール統合よりも性能が高く、速度-精度のトレードオフが良好である。
• ディスパリティ監視は検出性能を顕著に向上させるが、ターゲットディスパリティマップの精度にそれほど依存しないため、正則化が十分に機能することが示された。
• 定性的な結果から、ディスパリティ推定が不正確であっても、アンカーヘッドの強い事前知識と効果的な特徴統合のおかげで、視覚的に一貫性のある3Dバウンディングボックスが生成されていることがわかった。