[論文レビュー] Stereo-based terrain traversability analysis using normal-based segmentation and superpixel surface analysis

Roozbeh Dargazany|arXiv (Cornell University)|Jul 16, 2019

Advanced Vision and Imaging参考文献 8被引用数 8

ひとこと要約

本稿では、法線に基づくセグメンテーションとスーパーピクセル表面解析を用いて、地形を5つのカテゴリに分類するステレオビジョンベースの走破可能性分析手法を提案する。3D地形をステレオ画像から再構築し、幾何学的法線を用いてスーパーピクセル表面を検出するとともに、運動制約を組み込んだスーパーピクセル表面走破可能性分析（SSTA）を適用することで、荒れたオフロード環境においても堅牢な分類が可能となり、実世界の屋外地形データセットを用いた検証で性能が確認された。

ABSTRACT

In this paper, an stereo-based traversability analysis approach for all terrains in off-road mobile robotics, e.g. Unmanned Ground Vehicles (UGVs) is proposed. This approach reformulates the problem of terrain traversability analysis into two main problems: (1) 3D terrain reconstruction and (2) terrain all surfaces detection and analysis. The proposed approach is using stereo camera for perception and 3D reconstruction of the terrain. In order to detect all the existing surfaces in the 3D reconstructed terrain as superpixel surfaces (i.e. segments), an image segmentation technique is applied using geometry-based features (pixel-based surface normals). Having detected all the surfaces, Superpixel Surface Traversability Analysis approach (SSTA) is applied on all of the detected surfaces (superpixel segments) in order to classify them based on their traversability index. The proposed SSTA approach is based on: (1) Superpixel surface normal and plane estimation, (2) Traversability analysis using superpixel surface planes. Having analyzed all the superpixel surfaces based on their traversability, these surfaces are finally classified into five main categories as following: traversable, semi-traversable, non-traversable, unknown and undecided.

研究の動機と目的

• 遠隔操作が信頼できない災害地域や非構造的で荒れた地形における自律走行の課題に対処すること。
• 3次元再構築と包括的な表面検出に再定式化することで、走破可能性分析の性能を向上させること。
• 車両の運動制約（例：最大勾配、段差高さ）を表面解析に統合することで、分類精度を向上させること。
• 走破可能、準走破可能、非走破可能、未知、未決定の全地形表面をスーパーピクセルベースのセグメンテーションを用いて検出・分類すること。
• 主な走破可能平面の信頼性と点群品質のチェックを活用することで、ノイズが多いまたは低品質な点群における誤分類を低減すること。

提案手法

• ステレオカメラシステムが補正済みグレースケール画像を取得し、ステレオマッチングと深度推定を用いて3次元地形を再構築する。
• 3次元点群からピクセルベースの表面法線を計算し、幾何学的特徴抽出を可能にする。
• 空間的に隣接するピクセルで表面法線が類似する領域をグループ化するため、スーパーピクセルセグメンテーションを適用し、スーパーピクセル表面を形成する。
• スーパーピクセル表面走破可能性分析（SSTA）を用いて、各スーパーピクセルセグメントの平面パラメータと表面法線を推定する。
• インライヤーカウントのしきい値（0.02 × 画像幅 × 高さ）、正の法線方向、およびカメラより下側の空間的位置を用いて、主要な走破可能平面を検出する。
• スーパーピクセル平面と主要な走破可能平面との間の点から平面までの距離を比較し、車両固有の最大段差高さと照らして走破可能性を分類する。
• 主な走破可能平面の信頼性を用いて点群品質を検証する。信頼性が低い場合はフレームを破棄する。

実験結果

リサーチクエスチョン

• RQ1 非構造的で荒れたオフロード環境において、法線に基づくセグメンテーションとスーパーピクセル分析を組み合わせたステレオビジョンが、正確かつ堅牢な走破可能性分類を達成できるか。
• RQ2 車両の運動制約（例：最大勾配、最大段差）を幾何学的手法に統合することで、単一の幾何学的特徴に依存する手法と比較して、走破可能性分類の信頼性がどの程度向上するか。
• RQ3 固定サイズのパッチベースの手法と比較して、スーパーピクセルベースの表面セグメンテーションは、ノイズと誤分類をどの程度低減できるか。
• RQ4 主な走破可能平面の信頼性を、走破可能性分析における全体の点群品質の代理指標としてどのように活用できるか。
• RQ5 幾何的特徴のみを用いても、障害物、未知領域、未決定領域を含むすべての地形表面を効果的に分類できるか。

主な発見

• 提案されたSSTA手法は、走破可能（緑）、準走破可能（青）、非走破可能（赤）、未知（黒）、未決定（色なし）の5つの明確に分類されたカテゴリに地形を正しく分類できた。
• 本手法は、非構造的で森林地帯を含む実世界の屋外ステレオ画像シーケンス（RAVONプラットフォーム）においても堅牢な性能を示した。
• インライヤーカウント（0.02 × 画像幅 × 高さ）と空間的制約を用いた主要な走破可能平面検出により、主な走破可能表面の特定が信頼性高く実現された。
• 主な走破可能平面の信頼性を用いた点群品質の評価が効果的であり、信頼性が低い平面はフレーム破棄を引き起こした。
• 点から平面までの距離を用いた段差解析により、ロボットの最大段差高さ以内のセグメントのみが走破可能と分類された。
• 幾何的特徴と運動制約を統合することで、粗い地形における誤分類が低減され、単に表面法線や深度品質に依存する従来手法を上回る性能を発揮した。