[論文レビュー] Real-Time Stereo Vision for Road Surface 3-D Reconstruction

Rui Fan, Yanan Liu+4 more|arXiv (Cornell University)|Jul 18, 2018

Advanced Vision and Imaging参考文献 18被引用数 4

ひとこと要約

本稿では、NVIDIA GTX 1080 GPU 上で、透視変換と高速バイラテラルステレオ（FBS）を用いたリアルタイムステレオビジョンシステムを提案し、3次元道路表面再構築を実現している。対象画像を基準視点に合わせて変換することで、不一致の精度と処理速度が向上し、25 fps で 3 mm の再構築精度を達成するサブピクセル不一致マップを生成した。

ABSTRACT

Stereo vision techniques have been widely used in civil engineering to acquire 3-D road data. The two important factors of stereo vision are accuracy and speed. However, it is very challenging to achieve both of them simultaneously and therefore the main aim of developing a stereo vision system is to improve the trade-off between these two factors. In this paper, we present a real-time stereo vision system used for road surface 3-D reconstruction. The proposed system is developed from our previously published 3-D reconstruction algorithm where the perspective view of the target image is first transformed into the reference view, which not only increases the disparity accuracy but also improves the processing speed. Then, the correlation cost between each pair of blocks is computed and stored in two 3-D cost volumes. To adaptively aggregate the matching costs from neighbourhood systems, bilateral filtering is performed on the cost volumes. This greatly reduces the ambiguities during stereo matching and further improves the precision of the estimated disparities. Finally, the subpixel resolution is achieved by conducting a parabola interpolation and the subpixel disparity map is used to reconstruct the 3-D road surface. The proposed algorithm is implemented on an NVIDIA GTX 1080 GPU for the real-time purpose. The experimental results illustrate that the reconstruction accuracy is around 3 mm.

研究の動機と目的

• 正確さと速度の両立を図るリアルタイムステレオビジョンシステムを、3次元道路表面再構築のために開発すること。
• マッチングの前に、対象画像の透視ビューを基準ビューに合わせることで、不一致推定の正確さを向上させること。
• コストボリュームに適応的バイラテラルフィルタリングを適用することで、処理を高速化し、ステレオマッチングの曖昧さを低減すること。
• 放物線補間を用いてサブピクセル不一致解像度を達成し、高精度な 3次元再構築を実現すること。
• 実現可能性を高めるために、アルゴリズムを GPU に実装し、現実の現場応用に適したリアルタイム性能を達成すること。

提案手法

• 対象画像を透視変換により基準画像に合わせることで、類似性が向上し、マッチングの正確さが向上する。
• 正規化相互相関（NCC）を用いて、画像ブロック間の初期相関コストを計算し、2つの3次元コストボリュームを形成する。
• バイラテラルフィルタリングをコストボリュームに適用し、マッチングコストを適応的に集約することで、曖昧さを低減し、不一致の正確さを向上させる。
• コスト最適化された不一致マップに対して放物線補間を適用し、サブピクセル不一致解像度を達成する。
• 最終的な不一致マップを用いて、校正済みステレオ幾何学に基づく三角測量により、3次元道路表面を再構築する。
• アルゴリズムは NVIDIA GTX 1080 GPU に実装され、25 fps でリアルタイム処理が可能になった。

実験結果

リサーチクエスチョン

• RQ1 ステレオ画像間の透視変換が、道路表面再構築における不一致推定の正確さと処理速度を向上させることができるか？
• RQ2 コストボリュームにバイラテラルフィルタリングを適用することで、リアルタイムシステムにおけるステレオマッチングの正確さがどのように向上するか？
• RQ3 GPU アクセラレーションされたステレオビジョンパイプラインにおいて、再構築正確さと処理速度の間に達成可能なトレードオフは何か？
• RQ4 サブピクセル不一致推定は、道路インfra構造物評価のための3次元表面再構築正確さを顕著に向上させることができるか？
• RQ5 固定カメラ基準距離と限られた深度分解能を有する条件下で、本システムは実際の屋外環境でも良好に動作するか？

主な発見

• 提案手法は、3Dプリントされたサンプルモデルを用いた検証により、約 3 mm の再構築正確さを達成した。
• アルゴリズムは NVIDIA GTX 1080 GPU 上で 25 フレーム毎秒の処理速度を達成し、リアルタイム性能を実現した。
• パラメータ ϱ=3 および ρ=4 を使用した場合、処理速度は 566.37 Mde/s に達した。
• 処理時間は ϱ および ρ の値が高くなるにつれて増加し、ρ が 2 から 4 に増加すると処理時間が 2 倍に増加した。
• 透視変換により、基準視点と対象視点間の画像類似性が向上し、マッチング品質が顕著に向上した。
• コストボリュームにバイラテラルフィルタリングを適用することで、マッチングの曖昧さが効果的に低減され、不一致マップの正確さが向上した。