[論文レビュー] Real-Time Subpixel Fast Bilateral Stereo

Rui Fan, Yanan Liu+3 more|arXiv (Cornell University)|Jul 5, 2018

Advanced Vision and Imaging参考文献 21被引用数 7

ひとこと要約

本稿では、コスト計算の最適化と並列処理可能なGPUアーキテクチャを活用することで、NVIDIA GTX 1080 GPU上で加速されたリアルタイムのサブピクセル高速バイナリタルステレオアルゴリズムを提示する。Middleburyデータセットでρ=6の妥協的トレードオフのもと、344.16 Mde/sを達成し、適応的バイナリタルフィルタリングとサブピクセルリファインメントにより高精度を維持しながらリアルタイム性能を実現する。

ABSTRACT

Stereo vision technique has been widely used in robotic systems to acquire 3-D information. In recent years, many researchers have applied bilateral filtering in stereo vision to adaptively aggregate the matching costs. This has greatly improved the accuracy of the estimated disparity maps. However, the process of filtering the whole cost volume is very time consuming and therefore the researchers have to resort to some powerful hardware for the real-time purpose. This paper presents the implementation of fast bilateral stereo on a state-of-the-art GPU. By highly exploiting the parallel computing architecture of the GPU, the fast bilateral stereo performs in real time when processing the Middlebury stereo datasets.

研究の動機と目的

• ステレオマッチングにおける精度と速度のトレードオフを解消し、ディスparityマップの品質を損なわずリアルタイム性能を実現すること。
• コストボリュームにおける計算が高コストなバイナリタルフィルタリングのステップを、GPUの並列処理を活用して最適化すること。
• 左および右のディスパリティ推定を同時に実行するために、相関コストを2つの3Dボリュームに格納することで計算負荷を低減すること。
• 初期ディスパリティ推定値の周囲で放物線補間を用いてサブピクセル精度を達成すること。
• フィルタリングパラメータの違いに応じた精度と速度のトレードオフを評価すること。

提案手法

• 事前に計算された平均値および標準偏差を静的メモリに格納することで、正規化相互相関（NCC）コスト関数をドット積に簡略化する。
• 左および右のディスパリティ用のコストボリュームを同時に2つの3D配列に格納し、バイナリタルフィルタリング中に約50%の計算を削減する。
• 空間的および強度差に依存するガウス重み関数を用いて、左および右のコストボリューム上で適応的コスト集約を実行する。
• フィルタリング済みのコストボリューム上でWinner-Take-All（WTA）を用いて、各ピクセルごとの最小コストディスパリティを計算する。
• 初期ディスパリティ値の周囲で放物線補間を用いてサブピクセルリファインメントを実現し、整数ピクセル精度を超える分解能を向上させる。
• 実装はGPU上で完全に並列化されており、すべてのピクセルおよびディスパリティ範囲のフィルタリングと計算を、GPUのアーキテクチャを最大限に活用して加速する。

実験結果

リサーチクエスチョン

• RQ1 コンsumerクラスのGPUハードウェア上で、高速バイナリタルステレオをリアルタイム性能にまで加速できるか？
• RQ2 フィルタリングパラメータ（ωd, ωr, ρ）の選択が、ステレオマッチングシステムの精度と速度にどのように影響するか？
• RQ3 コストボリュームにバイナリタルフィルタリングを適用する際、精度と処理速度の最適なバランスは何か？
• RQ4 左および右のディスパリティ推定用に2つの3Dボリュームにコストを格納することで、計算の冗長性をどの程度低減できるか？
• RQ5 WTA処理後にGPUアクセラレートされた補間を用いて、リアルタイムでサブピクセル精度を効果的に達成できるか？

主な発見

• 提案手法は、ρ=6の条件下でMiddleburyの「Cones」データセットで344.16百万のディスパリティ評価/秒（Mde/s）を達成し、リアルタイム性能を実現した。
• 最も良い精度-速度トレードオフを得るための最適パラメータ設定はρ=6であり、ρ=7はわずかに高い精度を示すが、実行時間は倍増する。
• 誤差ピクセルの割合（ePEP）はρが8まで増加するにつれて減少するが、以降はわずかに増加し、性能の飽和点が存在することが示された。
• 2つの3Dコストボリュームを用いることで、左および右のディスパリティマップ推定において計算量を約50%削減できた。
• 放物線補間を用いることで、アルゴリズムはサブピクセル精度を達成し、整数ピクセル精度を超えるディスパリティ分解能を向上させた。
• 集約ウィンドウサイズ（ρ）が大きくなると実行時間が増加することから、より大きなフィルタは精度は向上するが、計算コストが高くなることが確認された。