[論文レビュー] Real-Time Stereo Vision on FPGAs with SceneScan

Konstantin Schauwecker|arXiv (Cornell University)|Sep 21, 2018

Advanced Vision and Imaging参考文献 5被引用数 7

ひとこと要約

本稿では、3.4メガピクセル解像度、8Wの消費電力で最大100fpsのリアルタイム性能を達成するFPGAベースのステレオビジョンシステム、SceneScanおよびSceneScan Proを提示する。本システムは、コストキューブフィルタリング、スパuriousフィルタリング、ギャップ補間、ノイズ低減を含むマルチステージのポストプロセッシングパイプラインを備えたカスタマイズされた半グローバルマッチング（SGM）アルゴリズムを採用し、モバイルロボティクスにおける屋外および長距離深度センシングに適した高精度で高密度の差分マップを提供する。

ABSTRACT

We present a flexible FPGA stereo vision implementation that is capable of processing up to 100 frames per second or image resolutions up to 3.4 megapixels, while consuming only 8 W of power. The implementation uses a variation of the Semi-Global Matching (SGM) algorithm, which provides superior results compared to many simpler approaches. The stereo matching results are improved significantly through a post-processing chain that operates on the computed cost cube and the disparity map. With this implementation we have created two stand-alone hardware systems for stereo vision, called SceneScan and SceneScan Pro. Both systems have been developed to market maturity and are available from Nerian Vision GmbH.

研究の動機と目的

• モバイルおよび屋外ロボティクスのアプリケーションにおけるリアルタイム深度推定を実現する低消費電力で高パフォーマンスなステレオビジョンシステムの開発。
• FPGAのハードウェアアクセラレーションを活用して、高精度なステレオマッチングアルゴリズムの計算ボトルネックを克服すること。
• アクティブセンシング技術が失敗するような明るい環境光や長距離条件下でも、頑健な深度センシングを可能にすること。
• GPUベースのシステムを上回る電力効率を実現する、即戦可能なエネルギーエフェシェントなソリューションを提供すること。
• 商業的に入手可能なFPGAベースのハードウェアプラットフォームを通じて、先端的なステレオビジョンを研究者や開発者にアクセス可能にする。

提案手法

• フィールド・プログラム可能なゲートアレイ（FPGA）にカスタマイズされた半グローバルマッチング（SGM）アルゴリズムを実装し、リアルタイムステレオマッチングを実現する。
• コストキューブおよび差分マップ上で動作するマルチステージのポストプロセッシングパイプラインを統合し、精度の向上とノイズ低減を図る。
• 3×3×3のカーネルを用いた3次元メディアンフィルタとしきい値ベースのノイズ抑制機構を用いて、誤ったコスト値を抑制するコストキューブフィルタを適用する。
• ウィンドウサイズwsに基づいて最小サイズしきい値未満の連結成分を特定・ラベリングすることで、小さな孤立した差分を除去するスパuriousフィルタを用いる。
• エッジの差分が大きさで類似している場合に限って、小さなギャップ（min{lh, lv} ≤ lmax）に対してのみギャップ補間を実行し、欠落した差分データを埋める。
• 不連続性および無効な差分を保持したまま、エッジに配慮したスムージングを実現するノイズ低減フィルタを適用する。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースのSGM実装は、高フレームレートおよび高解像度を維持しながら低消費電力でリアルタイムステレオビジョンを達成できるか？
• RQ2 マルチステージのポストプロセッシングパイプラインは、原始的なSGM出力に比べて差分マップ品質をどの程度向上できるか？
• RQ3 モバイルロボティクスにおいて、FPGAベースのステレオビジョンはGPUベースのシステムに比べてどの程度電力効率に優れているか？
• RQ4 明るい環境光条件下でも、ステレオビジョンは高精度で高密度の差分マップを維持できるか？
• RQ5 コンactで低消費電力なFPGAシステムにおいて、処理速度、解像度、差分範囲の間で達成可能なトレードオフは何か？

主な発見

• SceneScan Proは、640×480解像度、128ピクセルの差分範囲で最大100fpsを達成し、1600×1200解像度、256ピクセルの差分範囲で15fpsを達成する。
• 本システムは最大1856×1856（3.4メガピクセル）の画像解像度をサポートし、長距離応用に適した高精細な深度センシングを可能にする。
• 256ピクセルの差分範囲では、SceneScan Proは1秒間に51億回の差分評価を実行し、1秒間に2000万個の差分を出力する。
• 128ピクセルの差分範囲では処理性能が3000万個の差分/秒に向上し、高速な3次元ポイントクラウド生成が可能になる。
• ポストプロセッシングパイプラインはノイズおよびオクルージョンを効果的に除去し、特に挑戦的な屋外シーンでも滑らかで外れ値の少ない差分マップを実現する。
• 本システムは近距離および遠距離の両方の対象に対して高密度の差分測定を維持しており、長距離および明るい光条件下でも頑健であることが示された。