[논문 리뷰] A Comparative Evaluation of SGM Variants (including a New Variant, tMGM) for Dense Stereo Matching

Sonali Patil, Tanmay Prakash외 2명|arXiv (Cornell University)|2019. 11. 22.

Advanced Vision and Imaging참고 문헌 21인용 수 11

한 줄 요약

이 논문은 Middlebury Benchmark V3에서 표준 SGM 대비 6-8% 향상된 성능을 달성하는 새로운 밀도 높은 스테레오 매칭 알고리즘인 tMGM을 제안한다. tSGM의 계층적 정밀 조정과 MGM의 4분면 지원 영역을 결합한 방식으로, 조명 변화, 무문자 영역, 반복 패턴과 같은 도전적인 조건에서도 정확도를 향상시킨다. 또한 위성 스테레오 쌍에서 더 좁은 디스parity 검색 범위를 확보하기 위한 새로운 DEM-형상 조정 기법을 도입한다.

ABSTRACT

Our goal here is threefold: [1] To present a new dense-stereo matching algorithm, tMGM, that by combining the hierarchical logic of tSGM with the support structure of MGM achieves 6-8\% performance improvement over the baseline SGM (these performance numbers are posted under tMGM-16 in the Middlebury Benchmark V3 ); and [2] Through an exhaustive quantitative and qualitative comparative study, to compare how the major variants of the SGM approach to dense stereo matching, including the new tMGM, perform in the presence of: (a) illumination variations and shadows, (b) untextured or weakly textured regions, (c) repetitive patterns in the scene in the presence of large stereo rectification errors. [3] To present a novel DEM-Sculpting approach for estimating initial disparity search bounds for multi-date satellite stereo pairs. Based on our study, we have found that tMGM generally performs best with respect to all these data conditions. Both tSGM and MGM improve the density of stereo disparity maps and combining the two in tMGM makes it possible to accurately estimate the disparities at a significant number of pixels that would otherwise be declared invalid by SGM. The datasets we have used in our comparative evaluation include the Middlebury2014, KITTI2015, and ETH3D datasets and the satellite images over the San Fernando area from the MVS Challenge dataset.

연구 동기 및 목표

• tSGM의 계층적 처리 방식과 MGM의 4분면 지원 영역을 융합하여 새로운 밀도 높은 스테레오 매칭 알고리즘 tMGM을 개발한다.
• 조명 변화, 무문자 영역, 반복 패턴과 같은 도전적인 실세계 조건에서 SGM 변종(포함 tMGM)의 종합적인 정량적 및 정성적 비교를 수행한다.
• 다중 일자 위성 스테레오 쌍에서 더 좁은 초기 디스파리티 검색 범위를 추정하기 위한 새로운 DEM-형상 조정 접근법을 제안한다.
• Middlebury2014, KITTI2015, ETH3D, MVS Challenge 위성 데이터를 포함한 다양한 데이터셋에서 tMGM 및 기타 SGM 변종의 성능을 평가한다.
• tMGM이 모든 테스트 데이터셋과 시나리오에서 기존 SGM 변종보다 일관되게 뛰어난 성능을 보임을 입증한다.

제안 방법

• tMGM은 tSGM의 영향을 받은 코arse-to-fine 계층적 프레임워크를 사용하며, 점진적으로 정밀해지는 검색 범위를 갖는 다중 스케일에서 디스파리티 추정을 수행한다.
• 각 수준에서 16방향 SGM 집계 전략을 사용하여 비용 볼륨을 계산하고, 데이터 비용 계산에 Census 변환을 활용한다.
• SGM의 스캔라인 기반 지원 영역을 MGM의 4분면 기반 지원 영역으로 대체함으로써, 더 나은 픽셀 간 영향력과 향상된 디스파리티 일관성을 확보한다.
• 전체 디스파리티 경계를 정밀화하기 위해 새로운 DEM-형상 조정 기법을 도입한다: RPC 및 DEM 높이의 불일치를 바탕으로 상한 및 하한 오프셋을 계산하고, 정규화된 및 비정규화된 시야를 통해 흩어진 점들을 투영하여 픽셀 기반 디스파리티 경계를 유도한다.
• RPC 모델을 사용해 세계 좌표계로의 역투영을 통해 흩어진 디스파리티 경계를 생성한 후, 정점 기반 방법을 사용해 구멍을 메우기 위해 정방향 투영 및 보간을 수행한다.
• 최종 디스파리티 맵은 집계된 비용에 대해 윈너-테이크-all 전략을 사용하여 계산되며, tMGM-16는 16방향과 계층적 정밀 조정을 통해 최적 성능을 달성한다.

실험 결과

연구 질문

• RQ1 조명 변화와 그림자 조건에서 제안된 tMGM 알고리즘이 기준 SGM 및 기타 SGM 변종보다 정확도와 강인성 면에서 어떻게 비교되는가?
• RQ2 계층적 처리와 4분면 기반 지원 영역이 무문자 또는 약한 무문자 영역에서 디스파리티 맵 품질 향상에 얼마나 기여하는가?
• RQ3 제안된 DEM-형상 조정 기법이 다중 일자 위성 스테레오 쌍에서 큰 디스파리티 범위를 가진 경우 검색 공간을 줄이고 매칭 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ4 반복 패턴과 큰 스테레오 정규화 오차가 있는 시나리오에서 tMGM은 다른 SGM 변종보다 우수한 성능을 유지하는가?
• RQ5 KITTI2015 데이터셋에서 tMGM의 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• tMGM-16는 Middlebury Benchmark V3에서 표준 SGM 대비 6-8% 향상된 성능을 기록하여 모든 테스트 데이터셋에서 뛰어난 정확도를 입증한다.
• tMGM은 조명 변화, 그림자, 무문자 영역에서의 성능이 뛰어나 계층적 정밀 조정과 향상된 지원 구조 덕분이다.
• tSGM의 계층적 논리와 MGM의 4분면 지원 영역을 융합한 결과, SGM이 유효한 디스파리티를 할당하지 못하는 영역에서 더 밀도 높고 정확한 디스파리티 맵을 생성할 수 있었다.
• 제안된 DEM-형상 조정 기법은 초기 디스파리티 검색 경계를 크게 좁혀 false 매칭을 줄이고 위성 스테레오 쌍의 매칭 정확도를 향상시켰으며, 특히 초기 경계가 넓은 평탄한 영역에서 뚜렷한 효과를 보였다.
• KITTI2015 데이터셋에서 tMGM-16는 최고 성능을 보인 변종과 거의 유사한 성능을 기록했으며, 성능 격차는 큰 운동량과 복잡한 시나리오 구조에 기인한 것으로 분석되었다.
• 본 연구는 계층적 SGM 변종, 특히 tMGM이 불완전한 정규화 및 반복 패턴이 있는 시나리오를 포함한 모든 테스트 환경에서 비계층적 대안보다 더 강인하고 정확하다는 점을 확인했다.