[論文レビュー] On the Importance of Stereo for Accurate Depth Estimation: An Efficient Semi-Supervised Deep Neural Network Approach

Nikolai Smolyanskiy, A. Kamenev+1 more|arXiv (Cornell University)|Mar 26, 2018

Advanced Vision and Imaging参考文献 30被引用数 6

ひとこと要約

本論文は、LIDARと光度的一致性損失を組み合わせた半教師あり深層ステレオニューラルネットワークを提案し、独自の機械学習されたargmax層とカスタムランタイムを用いて、高精度な深度推定を実現する。実装は、埋め込みGPU上で20 fpsのニアリアルタイム推論を達成し、KITTI 2015で優れた性能を示す。特に、LIDARが見逃す細かいディテールの回復に優れている。

ABSTRACT

We revisit the problem of visual depth estimation in the context of autonomous vehicles. Despite the progress on monocular depth estimation in recent years, we show that the gap between monocular and stereo depth accuracy remains large$-$a particularly relevant result due to the prevalent reliance upon monocular cameras by vehicles that are expected to be self-driving. We argue that the challenges of removing this gap are significant, owing to fundamental limitations of monocular vision. As a result, we focus our efforts on depth estimation by stereo. We propose a novel semi-supervised learning approach to training a deep stereo neural network, along with a novel architecture containing a machine-learned argmax layer and a custom runtime (that will be shared publicly) that enables a smaller version of our stereo DNN to run on an embedded GPU. Competitive results are shown on the KITTI 2015 stereo dataset. We also evaluate the recent progress of stereo algorithms by measuring the impact upon accuracy of various design criteria.

研究の動機と目的

• 自動運転車を想定し、単眼とステレオ深度推定の間の継続的な精度格差を埋める。
• 絶対的深度の曖昧さやメトリックスケールの欠如といった、単眼深度の根本的限界を克服する。
• 埋め込みハードウェアでリアルタイムに動作する効率的なステレオネットワークを開発し、自律走行システムへの実装を可能にする。
• スパースLIDARと光度的一致性を活用した半教師あり学習により、フェンスの柱などの細かいディテールの回復を向上させる。
• アーキテクチャの選択や損失関数の影響がステレオ深度推定精度に与える影響を分析する。

提案手法

• LIDARに基づく監視とステレオ画像ペアからの光度的一致性損失を組み合わせた、新しい半教師あり学習フレームワーク。
• コストボリュームに特徴量を連結し、3次元畳み込みを用いて画像ペア全体の視差をモデル化。
• 標準のargmaxに代わり、滑らかな視差マップを生成し一般化性能を向上させる機械学習されたargmax層を採用。
• TensorRTとcuDNNに基づくカスタムランタイムが推論を高速化し、Jetson TX2などの埋め込みGPUでリアルタイム性能を実現。
• 効率性を最適化したアーキテクチャで、小型バージョンはTitan XPで約20 fpsを達成し、Jetson TX2でも効率的な推論が可能。
• 実際のLIDARデータとステレオペアからの光度的一致性を用いて、KITTI 2015ステレオベンチマークで微調整。

実験結果

リサーチクエスチョン

• RQ1 LIDARと光度的一致性損失を組み合わせた半教師あり学習は、教師ありのみのアプローチに比べて、ステレオ深度推定精度を顕著に向上させるか？
• RQ2 標準argmaxに比べ、学習されたargmax層は視差マップの滑らかさとディテール回復にどの程度寄与するか？
• RQ3 高精度を維持しつつ、埋め込みGPU上で効率的に実装可能な深層ステレオネットワークを実現できるか？
• RQ4 コストボリュームの構築法や3次元畳み込みのアーキテクチャ的選択が、最終的な深度推定精度に与える影響は？
• RQ5 半教師あり学習により、フェンスレールなどの細かい幾何的構造が、スパースLIDARでは見逃されがちな場合でも、より良く回復できるか？

主な発見

• 提案手法の半教師ありアプローチは、KITTI 2015ステレオベンチマークで競争力のある結果を達成し、主要指標で最先端手法を上回る。
• フェンスレールや柱のような細かいディテールを、LIDARやLIDARのみで学習した他のモデルが見逃すのを回避している。
• カスタムTensorRTベースのランタイムを用いることで、Titan XP GPU上で約20 fpsのニアリアルタイム推論を達成。
• カスタムランタイムにより、標準のTensorFlowランタイムでは不可能な、埋め込みハードウェア（例：Jetson TX2）での効率的推論が可能。
• 機械学習されたargmax層は、標準argmaxに比べ滑らかな視差マップを生成し、一般化性能を向上させる。
• 多様なシーンにわたり、車両、自転車、建物、木、道路面などの深度推定が正確であり、白いトラックの内部のような低テクスチャ領域でも安定した性能を示す。