[논문 리뷰] Real-Time Subpixel Fast Bilateral Stereo

Rui Fan, Yanan Liu외 3명|arXiv (Cornell University)|2018. 07. 05.

Advanced Vision and Imaging참고 문헌 21인용 수 7

한 줄 요약

이 논문은 비용 계산 최적화와 병렬 GPU 아키텍처를 활용하여 NVIDIA GTX 1080 GPU에서 가속화된 실시간 서브픽셀 빠른 이원변경 스테레오 알고리즘을 제안한다. ρ=6의 무게 조정을 통해 Middlebury 데이터셋에서 344.16 Mde/s의 성능을 달성하며, 적응형 이원변경 필터링과 서브픽셀 정밀도를 통해 높은 정확도를 유지하면서 실시간 성능을 구현한다.

ABSTRACT

Stereo vision technique has been widely used in robotic systems to acquire 3-D information. In recent years, many researchers have applied bilateral filtering in stereo vision to adaptively aggregate the matching costs. This has greatly improved the accuracy of the estimated disparity maps. However, the process of filtering the whole cost volume is very time consuming and therefore the researchers have to resort to some powerful hardware for the real-time purpose. This paper presents the implementation of fast bilateral stereo on a state-of-the-art GPU. By highly exploiting the parallel computing architecture of the GPU, the fast bilateral stereo performs in real time when processing the Middlebury stereo datasets.

연구 동기 및 목표

• 스테레오 매칭에서 정확도와 속도 사이의 상충 관계를 해결하여 실시간 성능를 달성하면서도, 차원 지도 품질을 손상시키지 않는 것을 목표로 한다.
• 비용 볼륨에서 계산이 집중적인 이원변경 필터링 단계를 GPU 병렬 처리를 통해 최적화한다.
• 좌우 이중 차원 지도 추정을 동시에 수행하기 위해 상관비용을 두 개의 3D 볼륨에 저장하여 계산 부담을 감소시킨다.
• 초기 차원 지도 추정 주변의 포물선 보간을 통해 서브픽셀 정밀도를 확보한다.
• 다양한 필터링 파라미터 설정에서 정확도와 속도 간의 성능 상충 관계를 평가한다.

제안 방법

• 사전 계산된 평균 및 표준편차 값을 정적 메모리에 저장하여 정규화된 상관관계(NCC) 비용 함수를 빠른 인덱싱을 위한 스칼라 곱으로 단순화한다.
• 좌우 차원 지도에 대한 비용 볼륨을 동시에 두 개의 3D 배열에 저장함으로써 이원변경 필터링 중 약 50%의 계산을 감소시킨다.
• 공간적 및 강도 차이에 따라 가우시안 가중치 함수를 사용하는 적응형 비용 집계를 좌우 비용 볼륨에 대해 수행한다.
• 모든 픽셀 및 차원 범위에서 GPU의 병렬 처리를 최대한 활용하여 구현을 완전히 병렬화함으로써 필터링 및 계산을 가속화한다.
• 필터링된 비용 볼륨에 대해 승자 한 명의 원칙(WTA)을 적용하여 각 픽셀의 최소 비용 차원 지도를 계산한다.
• 초기 차원 지도 값 주변의 포물선 보간을 통해 서브픽셀 정밀도를 확보함으로써 정수 픽셀 정밀도를 초월한 해상도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 소비자용 GPU 하드웨어에서 빠른 이원변경 스테레오를 실시간 성능으로 가속화할 수 있는가?
• RQ2 필터링 파라미터(ωd, ωr, ρ)의 선택이 스테레오 매칭 시스템의 정확도와 속도에 어떤 영향을 미치는가?
• RQ3 비용 볼륨에 대한 이원변경 필터링을 사용할 때 정확도와 처리 속도 사이의 최적 균형은 무엇인가?
• RQ4 좌우 차원 지도 추정을 위해 비용을 이중 3D 볼륨에 저장함으로써 계산의 중복을 얼마나 줄일 수 있는가?
• RQ5 WTA 이후 GPU 가속화된 보간을 통해 실시간으로 서브픽셀 정밀도를 효과적으로 달성할 수 있는가?

주요 결과

• 제안된 구현은 ρ=6일 때 Middlebury 'Cones' 데이터셋에서 344.16만 개의 차원 평가/초(Mde/s)를 달성하여 실시간 성능를 확보한다.
• 최적의 정확도-속도 균형을 위한 최적 파라미터 설정은 ρ=6이며, ρ=7은 약간 더 높은 정확도를 제공하지만 런타임이 두 배로 증가한다.
• 오차 픽셀 비율(ePEP)은 ρ가 8까지 증가함에 따라 감소하지만, 이후 약간 증가하여 성능 포화점이 있음을 시사한다.
• 이중 3D 비용 볼륨을 사용함으로써 좌우 차원 지도 추정 시 계산을 약 50% 감소시킬 수 있다.
• 포물선 보간을 통해 서브픽셀 정밀도를 확보함으로써 정수 픽셀 정밀도를 초월한 해상도 향상을 달성한다.
• 집합 윈도우 크기(ρ)가 증가할수록 런타임이 증가함을 확인하였으며, 이는 더 큰 필터가 더 계산 비용이 많이 들지만 정확도 향상에 기여하기 때문이다.