[論文レビュー] Real-Time Dense Stereo Embedded in A UAV for Road Inspection

Rui Fan, Jianhao Jiao+4 more|arXiv (Cornell University)|Apr 12, 2019

Remote Sensing and LiDAR Applications参考文献 29被引用数 5

ひとこと要約

本稿では、自動走行道路点検を目的としたUAVに埋め込みされたリアルタイム密度ステレオビジョンシステムを提示する。視点変換を適用することで視差精度を向上させるとともに計算負荷を低減し、視差変換を用いて損傷の検出可能性を向上させることで、NVIDIA Jetson TX2 GPU上で49.231 Mde/sのリアルタイム性能を達成し、変換された視差マップから道路損傷を明確に区別できるようになった。

ABSTRACT

The condition assessment of road surfaces is essential to ensure their serviceability while still providing maximum road traffic safety. This paper presents a robust stereo vision system embedded in an unmanned aerial vehicle (UAV). The perspective view of the target image is first transformed into the reference view, and this not only improves the disparity accuracy, but also reduces the algorithm's computational complexity. The cost volumes generated from stereo matching are then filtered using a bilateral filter. The latter has been proved to be a feasible solution for the functional minimisation problem in a fully connected Markov random field model. Finally, the disparity maps are transformed by minimising an energy function with respect to the roll angle and disparity projection model. This makes the damaged road areas more distinguishable from the road surface. The proposed system is implemented on an NVIDIA Jetson TX2 GPU with CUDA for real-time purposes. It is demonstrated through experiments that the damaged road areas can be easily distinguished from the transformed disparity maps.

研究の動機と目的

• UAVを用いた道路状態評価に適したリアルタイムで埋め込み可能な密度ステレオビジョンシステムの開発。
• 道路点検のためのステレオマッチングにおいて、視差精度の向上と計算複雑度の低減。
• 幾何的変換を用いて視差マップにおける道路損傷領域の可視性を向上。
• 実用的なUAV展開を可能にする低消費電力埋め込みプラットフォーム（例：Jetson TX2）におけるリアルタイム処理の実現。

提案手法

• 視差精度の向上と計算複雑度の低減を目的として、対象画像の視点を基準視点に変換する。
• ステレオマッチングからコストボリュームを生成し、完全連結マルコフ確率場におけるエネルギー最小化問題をバイリタラルフィルタを用いてフィルタリングする。
• ロール角と視差投影モデルに関してエネルギー関数を最小化することで、視差マップを変換し、損傷の可視性を向上。
• 収束閾値δψ = π/(1.8×10⁶) radを設定した反復的最適化法を用いて、視差マップからロール角を推定。
• CUDAを用いてNVIDIA Jetson TX2 GPU上でシステムを実装し、リアルタイム性能を達成。
• 視差変換とロール角推定の評価に、独自の道路データセットとKITTIステレオデータセットの両方を用いる。

実験結果

リサーチクエスチョン

• RQ1 UAVベースのステレオビジョンにおける道路点検において、視点変換は視差精度の向上と計算複雑度の低減に有効であるか？
• RQ2 視差変換は、周囲の表面からの道路損傷領域の区別能をどの程度向上させるか？
• RQ3 埋め込みGPU（例：Jetson TX2）上で密度ステレオシステムの実現可能なリアルタイム性能はどの程度か？
• RQ4 UAVの姿勢変動を補正するため、視差マップからロール角を正確に推定できるか？
• RQ5 道路損傷検出の観点から、既存のステレオアルゴリズムと比較して、本手法の精度と計算効率はどの程度か？

主な発見

• システムはJetson TX2 GPU上で49.231 Mde/sの処理レートを達成し、高性能なグラフィックスカードを搭載した大多数のステレオビジョンシステムを大きく上回った。
• KITTIデータセットにおける変換済み視差値の平均標準偏差σdは、ロール角の影響を補正しない場合の0.861ピクセルから0.519ピクセルに改善された。
• 既知のゼロロール角を持つ合成データセットを用いたテストで、ロール角推定の平均誤差は約0.012 radにとどまった。
• 視差変換アルゴリズムは、独自データセットおよびKITTIデータセットの両方の定性的な結果から、損傷領域が道路表面と明確に区別可能であることを示した。
• ロール角推定の実行時間は約7.842 ms、視差変換はJetson TX2上で1フレームあたり約1.541 msを要した。
• 視点変換によりアルゴリズムの複雑度が低減するとともに視差精度が向上し、埋め込みハードウェア上でリアルタイム処理が可能になった。