[논문 리뷰] Real-Time Stereo Vision on FPGAs with SceneScan

Konstantin Schauwecker|arXiv (Cornell University)|2018. 09. 21.

Advanced Vision and Imaging참고 문헌 5인용 수 7

한 줄 요약

이 논문은 실시간 성능을 구현하며 최대 100 fps, 3.4메가픽셀 해상도, 8W 전력 소비로 작동하는 FPGA 기반 스테레오 비전 시스템인 SceneScan 및 SceneScan Pro를 제안한다. 시스템은 비용 큐브 필터링, 스펙클 필터링, 갭 인터폴레이션, 노이즈 감소를 포함한 다단계 후처리 파이프라인을 갖춘 맞춤형 반응형 전역 매칭(SGM) 알고리즘을 사용하여, 모바일 로봇 응용 분야에서 실외 및 장거리 깊이 감지에 적합한 고정밀 밀도 디스parity 맵을 제공한다.

ABSTRACT

We present a flexible FPGA stereo vision implementation that is capable of processing up to 100 frames per second or image resolutions up to 3.4 megapixels, while consuming only 8 W of power. The implementation uses a variation of the Semi-Global Matching (SGM) algorithm, which provides superior results compared to many simpler approaches. The stereo matching results are improved significantly through a post-processing chain that operates on the computed cost cube and the disparity map. With this implementation we have created two stand-alone hardware systems for stereo vision, called SceneScan and SceneScan Pro. Both systems have been developed to market maturity and are available from Nerian Vision GmbH.

연구 동기 및 목표

• 실시간 깊이 추정을 위한 저전력, 고성능 스테레오 비전 시스템을 개발하여 모바일 및 실외 로봇 응용 분야에 적합하게 한다.
• FPGA 하드웨어 가속을 활용하여 고정밀 스테레오 매칭 알고리즘의 계산 병목 현상을 해결한다.
• 활동적 센서 기술이 실패하는 밝은 환경 조명과 장거리 조건에서도 강인한 깊이 감지를 가능하게 한다.
• 고성능 GPU 기반 시스템에 비해 전력 효율성이 뛰어나면서도 고프레임레이트와 고해상도를 유지하는 즉시 사용 가능한 에너지 효율적인 솔루션을 제공한다.
• 상용 FPGA 기반 하드웨어 플랫폼을 통해 연구자와 개발자들이 고급 스테레오 비전 기술에 접근할 수 있도록 한다.

제안 방법

• 현장 프ogram 가능 게이트 어레이(FPGA)에 맞춤형 반응형 전역 매칭(SGM) 알고리즘을 구현하여 실시간 스테레오 매칭을 가능하게 한다.
• 비용 큐브와 디스패리티 맵에 대해 작동하는 다단계 후처리 파이프라인을 통합하여 정확도를 향상시키고 노이즈를 감소시킨다.
• 3×3×3 커널을 사용한 3차원 중앙값 필터와 임계값 기반 노이즈 억제 메커니즘을 활용해 오류가 발생한 비용 값을 억제하는 비용 큐브 필터를 적용한다.
• 창문 크기 ws 기반 최소 크기 임계값 이하의 연결된 성분을 식별하고 레이블링하여 소규모 고립된 디스패리티를 제거하는 스펙클 필터를 사용한다.
• 모서리 디스패리티의 크기가 유사한 경우에만 작은 갭(min{lh, lv} ≤ lmax)에 대해서만 갭 인터폴레이션을 수행하여 누락된 디스패리티 데이터를 보완한다.
• 경계와 무효 디스패리티를 유지하면서도 디스패리티 맵을 부드럽게 만드는 노이즈 감소 필터를 적용하여 경계 인식형 스무딩을 보장한다.

실험 결과

연구 질문

• RQ1 FPGA 기반 SGM 구현이 고프레임레이트와 고해상도에서 저전력 소비를 유지하면서도 실시간 스테레오 비전을 달성할 수 있는가?
• RQ2 다단계 후처리 파이프라인이 원시 SGM 출력에 비해 디스패리티 맵 품질을 얼마나 효과적으로 향상시키는가?
• RQ3 모바일 로봇 응용 분야에서 FPGA 기반 스테레오 비전이 GPU 기반 시스템에 비해 전력 효율성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 강한 환경 조명 조건에서 고정밀 스테레오 비전이 높은 정확도와 밀도 있는 디스패리티 맵을 유지할 수 있는가?
• RQ5 작고 저전력인 FPGA 시스템에서 처리 속도, 해상도, 디스패리티 범위 사이의 타당한 트레이드오프는 무엇인가?

주요 결과

• SceneScan Pro는 640×480 해상도에서 최대 100 fps, 128픽셀 디스패리티 범위를 지원하며, 1600×1200 해상도에서는 15 fps, 256픽셀 디스패리티 범위를 지원한다.
• 시스템은 최대 1856×1856(3.4메가픽셀) 해상도를 지원하여 장거리 응용 분야에서 고해상도 깊이 감지를 가능하게 한다.
• 256픽셀 디스패리티 범위에서 SceneScan Pro는 1초당 51억 개의 디스패리티 평가를 수행하고, 1초당 2000만 개의 디스패리티를 출력한다.
• 128픽셀 디스패리티 범위에서 처리 성능은 1초당 3000만 개의 디스패리티로 증가하여 고속 3D 포인트 클라우드 생성이 가능하다.
• 후처리 파이프라인이 노이즈와 가림을 효과적으로 제거하여, 도전적인 실외 환경에서도 외곽선이 적고 노이즈가 적은 매끄러운 디스패리티 맵을 생성한다.
• 근거리 및 원거리 물체 모두에서 밀도 있는 디스패리티 측정을 유지하여 장거리 및 밝은 조명 조건에서도 강인함을 입증한다.