[논문 리뷰] Natural Image Stitching Using Depth Maps

Tianli Liao, Nan Li|arXiv (Cornell University)|2022. 02. 13.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 강력한 특징 매칭, 데라운이 삼각형 분할, 깊이 보정 지역 호모그래피를 사용하여 겹치는 영역과 겹치지 않는 영역에서 모두 편차를 해결하기 위해 깊이 맵을 활용하는 새로운 자연 이미지 스티칭 방법을 제안한다. 이 방법은 정확한 정렬과 자연스러운 모자이크를 달성하며, MS-SSIM 및 PSNR 측면에서 기존 방법보다 우수한 성능을 보이며, 넓은 기준선과 비평면 영역에서 도전적인 시나리오를 처리한다.

ABSTRACT

Natural image stitching aims to create a single, natural-looking mosaic from overlapped images that capture the same 3D scene from different viewing positions. Challenges inevitably arise when the scene is non-planar and captured by handheld cameras since parallax is non-negligible in such cases. In this paper, we propose a novel image stitching method using depth maps, which generates accurate alignment mosaics against parallax. Firstly, we construct a robust fitting method to filter out the outliers in feature matches and estimate the epipolar geometry between input images. Then, we utilize epipolar geometry to establish pixel-to-pixel correspondences between the input images and render the warped images using the proposed optimal warping. In the rendering stage, we introduce several modules to solve the mapping artifacts in the warping results and generate the final mosaic. Experimental results on three challenging datasets demonstrate that the depth maps of input images enable our method to provide much more accurate alignment in the overlapping region and view-consistent results in the non-overlapping region. We believe our method will continue to work under the rapid progress of monocular depth estimation. The source code is available at https://github.com/tlliao/NIS_depths.

연구 동기 및 목표

• 비평면적이고 넓은 카메라 기준선을 가진 시나리오에서 편차 문제를 해결하기 위해.
• 전역 호모그래피나 표준 적응 왜곡 기법이 달성할 수 있는 것 이상의 겹치는 영역에서의 정렬 정확도와 겹치지 않는 영역에서의 자연스러움을 향상시키기 위해.
• 조각별 이미지 왜곡을 위해 3D 기하학을 더 정확히 모델링하기 위해 깊이 맵을 활용하기 위해.
• 큰 편차 조건 하에서도 외곽선을 걸러내고 에피포라 기하학을 추정할 수 있는 강력한 피팅 방법을 개발하기 위해.
• 삼각형으로 분할된 영역에서 시각 일致성을 보장하는 깊이 보정 지역 호모그래피 추정 기법을 설계하기 위해.

제안 방법

• 깊이-RANSAC 기반의 강력한 피팅 방법을 사용하여 외곽선을 걸러내고 특징 매칭에서 에피포라 기하학을 추정함으로써 큰 편차 조건 하에서도 안정성을 향상시킨다.
• 대상 이미지를 삼각형 영역으로 분할하기 위해 데라운이 삼각형 분할을 적용하며, 각 영역은 3D 공간에서 공면으로 간주된다.
• 각 삼각형에 대해 정점 위치, 보정된 깊이 값, 에피포라 기하학을 사용하여 지역 호모그래피를 계산함으로써 정확한 조각별 왜곡을 가능하게 한다.
• 식 (14), (15), (16)을 사용하여 깊이 보정을 수행하여 삼각형 별 깊이 값을 군집화하고 평균화함으로써 왜곡 일관성을 향상시킨다.
• 조각별 호모그래피를 사용한 후방 매핑으로 왜곡된 대상 이미지를 생성한 후, 평균 블렌딩과 이미지 보정을 수행하여 최종 파ano라마를 생성한다.
• 특히 겹치지 않는 영역에서의 불연속성과 깊이 변화를 다루기 위해 깊이 인식 기하학 추정을 통합한다.

실험 결과

연구 질문

• RQ1 깊이 맵는 큰 편차와 비평면적 시나리오 조건 하에서 자연 이미지 스티칭의 정렬 정확도를 향상시킬 수 있는가?
• RQ2 깊이 정보와 에피포라 기하학을 활용하여 조각별 이미지 왜곡을 위한 지역 호모그래피를 효과적으로 추정할 수 있는가?
• RQ3 군집화와 평균화를 통한 깊이 보정이 스티칭된 파노라마의 시각적 품질과 일관성을 향상시키는가?
• RQ4 제안된 강력한 피팅 방법은 큰 편차 조건 하에서 외곽선이 많은 특징 매칭을 다룰 때 표준 RANSAC 및 다중 샘플링 RANSAC보다 어떻게 비교되는가?
• RQ5 삼각형 영역을 사용함으로써 전역 또는 패치 기반 왜곡 모델 대비 겹치지 않는 영역에서 자연스러움이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 MVS-Synth 데이터셋에서 MS-SSIM 0.9249와 PSNR 23.9227을 달성하여 베이스라인 방법을 능가한다.
• 깊이-RANSAC(본 연구의 강력한 피팅 방법)는 호모-RANSAC 및 다중-RANSAC보다 더 높은 정렬 정확도를 보이며, PSNR 23.9227을 기록하여 각각 17.5890과 22.0899를 기록한 것보다 뛰어나다.
• 식 (16)을 사용한 깊이 보정은 MS-SSIM 향상과 아티팩트 감소에 크게 기여하며, 실험 3에서 최고 점수인 0.9249를 기록했다.
• 절단 실험 결과, 깊이 보정과 군집화가 왜곡된 이미지에서 분할 아티팩트를 줄이는 데 기여함을 시각적 비교를 통해 확인할 수 있었다.
• 스트리트 램프와 건물과 같은 복잡한 구조물을 겹치지 않는 영역에서 정렬할 때 APAP, NISwGSP, LFA보다 우수한 성능을 보이며, 겹침 현상과 이질 정렬을 감소시켰다.
• 깊이 맵이 정확하지 않거나 깊이 변화가 심한 복잡한 시나리오에서 삼각형 분할이 오류가 발생할 경우 실패 케이스가 발생하며, 이는 블렌딩 및 보정 단계에서 아티팩트를 유발한다.