[논문 리뷰] A Comparison of Stereo-Matching Cost between Convolutional Neural Network and Census for Satellite Images

Bihe Chen, Rongjun Qin외 3명|arXiv (Cornell University)|2019. 05. 22.

Advanced Vision and Imaging참고 문헌 6인용 수 4

한 줄 요약

이 논문은 위성 영상에서 스테레오 매칭 비용 계산을 위한 빠른 컬러리션 신경망(fst-CNN)과 세닝스 변환(Census transform)을 비교한다. 준전역 매칭을 사용하여 fst-CNN는 Census보다 더 높은 절대 매칭 정확도, 더 나은 오차 분포 및 향상된 완전성을 달성한다. 그러나 두 방법 모두 유사한 수준의 성능을 보인다.

ABSTRACT

Stereo dense image matching can be categorized to low-level feature based matching and deep feature based matching according to their matching cost metrics. Census has been proofed to be one of the most efficient low-level feature based matching methods, while fast Convolutional Neural Network (fst-CNN), as a deep feature based method, has small computing time and is robust for satellite images. Thus, a comparison between fst-CNN and census is critical for further studies in stereo dense image matching. This paper used cost function of fst-CNN and census to do stereo matching, then utilized semi-global matching method to obtain optimized disparity images. Those images are used to produce digital surface model to compare with ground truth points. It addresses that fstCNN performs better than census in the aspect of absolute matching accuracy, histogram of error distribution and matching completeness, but these two algorithms still performs in the same order of magnitude.

연구 동기 및 목표

• 딥 러닝 기반(fst-CNN) 및 저수준 특징 기반(Census) 스테레오 매칭 비용 측정법이 위성 영상에서 어떻게 성능을 발휘하는지 평가하고 비교하는 것.
• 다양한 비용 함수가 차원 매핑 품질과 디지털 표면 모델(DSM) 정확도에 미치는 영향을 평가하는 것.
• fst-CNN의 계산 효율성이 원격 감시 적용에서 Census보다 뛰어난 매칭 성능으로 이어지는지 확인하는 것.
• 어려운 위성 영상 환경에서 스테레오 매칭의 핵심 성능 지표로 매칭 완전성과 오차 분포를 분석하는 것.

제안 방법

• 컨볼루션 계층에서 추출한 깊이 특징을 사용하여 fst-CNN 기반의 비용 함수를 적용해 스테레오 매칭 비용을 계산하였다.
• 슬라이딩 윈도우 내 국소 강도 패턴을 기반으로 Census 변환을 사용해 매칭 비용을 계산하였다.
• 두 비용 함수에서 유도된 비용을 최적화하기 위해 준전역 매칭(SGM)을 적용하였다.
• 최적화된 비용 매핑에서 디지털 표면 모델(DSM)을 생성하여 참값 점과 비교하였다.
• 절대 매칭 정확도, 오차 분포 히스토GRAM, 매칭 완전성 지표를 사용해 성능을 평가하였다.
• 실제 원격 감시 시나리오에 부합하기 위해 위성 영상 쌍을 대상으로 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 fst-CNN의 스테레오 매칭 정확도는 위성 영상에서 Census와 비교해 어떻게 되는가?
• RQ2 fst-CNN 기반과 Census 기반 스테레오 매칭 간의 오차 분포에는 어떤 차이가 있는가?
• RQ3 fst-CNN와 Census는 위성 영상에서 매칭 완전성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 fst-CNN의 계산적 이점이 Census 대비 측정 가능한 성능 향상으로 이어지는가?
• RQ5 디지털 표면 모델 생성 맥락에서 fst-CNN와 Census 간의 성능 차이가 통계적으로 유의미한가?

주요 결과

• fst-CNN는 위성 영상에서 Census 변환보다 더 높은 절대 매칭 정확도를 달성한다.
• fst-CNN의 오차 분포는 Census보다 0에 더 집중되어 있어 큰 오차가 적다는 것을 시사한다.
• fst-CNN는 위성 영상에서 흔히 볼 수 있는 무문자 또는 저대trast 영역에서도 뛰어난 매칭 완전성을 보였다.
• 성능 차이가 있음에도 불구하고, fst-CNN와 Census는 모두 유사한 수준의 성능를 보이며, Census는 여전히 강력한 기준이 된다.
• fst-CNN에서 유도된 비용 매핑은 참값 점과 비교했을 때 더 정확한 디지털 표면 모델을 생성한다.
• 결과적으로, fst-CNN와 같이 깊이 특징 기반 방법이 Census와 같은 전통적인 저수준 특징 방법보다 위성 영상 스테레오 매칭에서 뛰어나다는 것이 확인되었다.