[논문 리뷰] Learning Edge-Preserved Image Stitching from Large-Baseline Deep Homography

Lang Nie, Chunyu Lin외 2명|arXiv (Cornell University)|2020. 12. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 23

한 줄 요약

이 논문은 대규모 기준선을 가진 딥 러닝 프레임워크를 제안하여, 임의의 시야와 입력 크기를 가진 이미지의 정확한 스티칭을 가능하게 한다. 이는 다중 척도 특징과 에지 인식 보정을 활용하여 고성능을 달성하며, 가시화된 가시성과 에지 불일치를 크게 감소시키고 실제 환경에 잘 일반화된다.

ABSTRACT

Image stitching is a classical and crucial technique in computer vision, which aims to generate the image with a wide field of view. The traditional methods heavily depend on the feature detection and require that scene features be dense and evenly distributed in the image, leading to varying ghosting effects and poor robustness. Learning methods usually suffer from fixed view and input size limitations, showing a lack of generalization ability on other real datasets. In this paper, we propose an image stitching learning framework, which consists of a large-baseline deep homography module and an edge-preserved deformation module. First, we propose a large-baseline deep homography module to estimate the accurate projective transformation between the reference image and the target image in different scales of features. After that, an edge-preserved deformation module is designed to learn the deformation rules of image stitching from edge to content, eliminating the ghosting effects as much as possible. In particular, the proposed learning framework can stitch images of arbitrary views and input sizes, thus contribute to a supervised deep image stitching method with excellent generalization capability in other real images. Experimental results demonstrate that our homography module significantly outperforms the existing deep homography methods in the large baseline scenes. In image stitching, our method is superior to the existing learning method and shows competitive performance with state-of-the-art traditional methods.

연구 동기 및 목표

• 밀도 높고 균일하게 분포된 특징에 의존하는 전통적 이미지 스티칭 방법의 한계를 해결하기 위해.
• 기존 딥 러닝 기반 스티칭 방법의 고정된 입력 크기와 제한된 일반화 능력 문제를 해결하기 위해.
• 임의의 시야와 입력 크기에서 이미지를 스티칭할 수 있는 유연하고 종단 간(end-to-end) 딥 러닝 프레임워크를 개발하기 위해.
• 에지에서 콘텐츠로의 변형 규칙 학습을 통해 가시화된 가시성과 에지 불일치를 최소화하기 위해.

제안 방법

• 특징 피라미드에서 유도된 다중 척도 특징을 활용하여 대규모 기준선 상황에서도 정확도를 높이는 대규모 기준선 딥 투영 변환 모듈을 설계하였다.
• 특징 매칭을 효율적으로 수행하기 위해 특징 맵 간의 상관관계 레이어를 활용하여, 순환 필터에만 의존하지 않는 전역-국소 매칭을 가능하게 하였다.
• 이미지 융합 과정에서 에지 연속성을 중시함으로써, 잘못된 정렬을 수정하고 불연속적인 에지를 부드럽게 보정하는 에지 유지 변형 모듈을 설계하였다.
• 두 단계 전략을 사용한다: 투영 변환 추정에 의한 거친 정렬 이후, 에지 인식 보조를 통한 세밀한 변형 보정.
• 임의의 입력 크기를 지원하기 위해, 완전 연결 층을 피하거나 일반화 능력을 유지하기 위한 적응형 기법을 적용하였다.
• 다양한 기준선 변화를 가진 합성 데이터셋에서 모델을 훈련시켜 실제 환경의 분포 이탈에 대한 강건성을 향상시켰다.

실험 결과

연구 질문

• RQ1 다중 척도 특징을 활용하여 대규모 기준선 이미지 쌍에 대해 정확한 투영 변환 추정을 딥 러닝 프레임워크로 달성할 수 있는가?
• RQ2 이미지 스티칭 과정에서 에지 연속성을 어떻게 유지할 수 있을까? 이는 시각적 잡음과 가시화된 가시성을 줄이는 데 기여한다.
• RQ3 합성 데이터에서 훈련된 딥 이미지 스티칭 모델이 실제 이미지에 대해 효과적으로 일반화될 수 있는가?
• RQ4 특징 상관관계와 다중 척도 특징 피라미드가 투영 변환 추정 성능에 기여하는 정도는 어떠한가?
• RQ5 에지에서 콘텐츠로의 학습이 스티칭된 이미지의 시각적 품질과 구조적 일관성을 향상시키는가?

주요 결과

• 제안된 대규모 기준선 딥 투영 변환 모듈은 대규모 기준선 환경에서 기존 딥 투영 변환 방법보다 유의미하게 뛰어난 성능을 보이며, 투영 변환 추정에서 낮은 RMSE를 기록한다.
• 에지 유지 변형 모듈은 가시화된 가시성과 에지 불연속성을 효과적으로 감소시켜 기존 기준선 대비 더 부드러운 시각적 결과를 생성한다.
• 기존 최첨단 전통적 방법과 경쟁 가능한 성능을 달성하면서도, 기존 딥 러닝 기반 스티칭 접근법을 능가하는 시각적 품질과 잡음 감소 성능을 확보한다.
• 절단 분석 결과, 특징 피라미드와 특징 상관관계 레이어는 특히 낮은 겹침 비율 상황에서 정확한 투영 변환 추정에 필수적임을 확인하였다.
• 에지 변형 브랜치는 에지 연속성을 확보하는 데 핵심적이며, 이를 제거할 경우 스티칭 출력에서 눈에 띄는 에지 불연속성이 발생한다.
• 합성 데이터에서만 훈련되었음에도 불구하고, 프레임워크는 실제 이미지로의 일반화가 잘 되어 있으며, 임의의 시야와 입력 크기에서 강력한 강건성과 적응성을 보여준다.