[논문 리뷰] Stereo-based terrain traversability analysis using normal-based segmentation and superpixel surface analysis

Roozbeh Dargazany|arXiv (Cornell University)|2019. 07. 16.

Advanced Vision and Imaging참고 문헌 8인용 수 8

한 줄 요약

이 논문은 정규 기반 분할과 슈퍼픽셀 표면 분석을 사용하여 3D 토양을 재구성하고, 토양을 5개의 카테고리로 분류하는 스테레오 비전 기반의 지형 이동 가능성 분석 방법을 제안한다: 이동 가능한, 반이동 가능한, 이동 불가능한, 알 수 없는, 결정되지 않은. 스테레오 영상에서 3D 지형을 재구성하고 기하학적 법선을 기반으로 슈퍼픽셀 표면을 검출하며, 운동학적 제약 조건을 적용한 슈퍼픽셀 표면 이동 가능성 분석(SSTA)을 수행함으로써, 거친 오프로드 환경에서도 강력한 분류 성능을 달성한다. 성능은 실제 외부 환경 토양 데이터셋을 통해 검증되었다.

ABSTRACT

In this paper, an stereo-based traversability analysis approach for all terrains in off-road mobile robotics, e.g. Unmanned Ground Vehicles (UGVs) is proposed. This approach reformulates the problem of terrain traversability analysis into two main problems: (1) 3D terrain reconstruction and (2) terrain all surfaces detection and analysis. The proposed approach is using stereo camera for perception and 3D reconstruction of the terrain. In order to detect all the existing surfaces in the 3D reconstructed terrain as superpixel surfaces (i.e. segments), an image segmentation technique is applied using geometry-based features (pixel-based surface normals). Having detected all the surfaces, Superpixel Surface Traversability Analysis approach (SSTA) is applied on all of the detected surfaces (superpixel segments) in order to classify them based on their traversability index. The proposed SSTA approach is based on: (1) Superpixel surface normal and plane estimation, (2) Traversability analysis using superpixel surface planes. Having analyzed all the superpixel surfaces based on their traversability, these surfaces are finally classified into five main categories as following: traversable, semi-traversable, non-traversable, unknown and undecided.

연구 동기 및 목표

• 원격 조작이 신뢰할 수 없는 비구조적이고 어려운 지형에서의 자율 주행 도전 과제를 해결하기 위해.
• 3D 재구성과 종합적인 표면 탐지로 재구성된 지형 이동 가능성 분석을 개선하기 위해.
• 차량의 운동학적 제약 조건(예: 최대 경사도, 최대 단계 높이)을 표면 분석에 통합하여 분류 정확도를 향상시키기 위해.
• 슈퍼픽셀 기반 분할을 통해 이동 가능한, 반이동 가능한, 이동 불가능한, 알 수 없는, 결정되지 않은 모든 지형 표면을 탐지하고 분류하기 위해.
• 주로 노이즈가 많거나 품질이 낮은 포인트 클라우드에서의 잘못된 분류를 줄이기 위해 주로 지배적인 지면 평면의 신뢰도와 포인트 클라우드 품질 검사를 활용하기 위해.

제안 방법

• 스테레오 카메라 시스템이 정규화된 회색조 영상을 촬영하여 스테레오 매칭과 깊이 추정을 통해 3D 지형을 재구성한다.
• 3D 포인트 클라우드에서 픽셀 기반 표면 법선을 계산하여 기하학적 특징 추출을 가능하게 한다.
• 공간적으로 인접한 픽셀을 유사한 표면 법선으로 그룹화하기 위해 슈퍼픽셀 분할을 적용하여 슈퍼픽셀 표면을 형성한다.
• 슈퍼픽셀 표면 이동 가능성 분석(SSTA)은 각 슈퍼픽셀 세그먼트의 평면 파라미터와 표면 법선을 추정한다.
• 지배적인 지면 평면은 내부점 수 임계값(0.02 × 이미지 너비 × 높이), 양의 법선 방향, 카메라 아래의 공간적 위치를 기반으로 감지된다.
• 이동 가능성 분류는 슈퍼픽셀 평면과 지배적인 지면 평면 간의 점-평면 거리 비교를 통해 차량의 최대 단계 높이 기준으로 수행된다.
• 포인트 클라우드의 품질은 지배적인 이동 가능한 평면의 신뢰도를 통해 검증되며, 낮은 신뢰도일 경우 프레임을 기각한다.

실험 결과

연구 질문

• RQ1 정규 기반 분할과 슈퍼픽셀 분석을 통한 스테레오 비전이 비구조적이고 거친 오프로드 환경에서 정확하고 강력한 지형 이동 가능성 분류를 달성할 수 있는가?
• RQ2 차량의 운동학적 제약 조건(예: 최대 경사도, 최대 단계)을 기하학적 방법과 통합할 경우, 기하학적 방법에 비해 이동 가능성 분류의 신뢰성이 어떻게 향상되는가?
• RQ3 고정 크기의 패치 기반 접근 방식에 비해 슈퍼픽셀 기반 표면 분할은 노이즈와 잘못된 분류를 얼마나 줄이는가?
• RQ4 지배적인 지면 평면의 신뢰도는 이동 가능성 분석에서 전체 포인트 클라우드 품질의 대체 지표로 어떻게 활용될 수 있는가?
• RQ5 제안된 방법이 기하학적 특징만을 사용하여 모든 지형 표면—장애물, 알 수 없는 영역, 결정되지 않은 영역—을 효과적으로 분류할 수 있는가?

주요 결과

• 제안된 SSTA 방법은 지형을 다섯 가지 명확한 카테고리로 성공적으로 분류한다: 이동 가능한(녹색), 반이동 가능한(파랑), 이동 불가능한(빨강), 알 수 없는(검정), 결정되지 않은(색 없음).
• 이 방법은 RAVON 플랫폼에서의 실제 외부 환경 스테레오 영상 시퀀스, 특히 비구조적인 숲 지형에서 강력한 성능을 보여준다.
• 내부점 수(0.02 × 이미지 너비 × 높이)와 공간적 제약 조건을 사용한 지배적인 지면 평면 감지는 주요 이동 가능한 표면을 식별하는 데 신뢰성을 향상시킨다.
• 지배적인 이동 가능한 평면의 신뢰도를 통해 포인트 클라우드의 품질이 효과적으로 평가되며, 낮은 신뢰도 평면은 프레임 기각을 유도한다.
• 점-평면 거리 기반의 단계 분석을 통해 로봇의 최대 단계 높이 내부에 있는 세그먼트만 이동 가능한 것으로 분류된다.
• 기하학적 특징과 운동학적 제약 조건을 결합함으로써 거친 지형에서 잘못된 분류를 줄이며, 이전 방법보다 우수한 성능을 발휘한다. 이전 방법은 표면 법선이나 깊이 품질에만 의존하였다.