[논문 리뷰] Correspondence Insertion for As-Projective-As-Possible Image Stitching

William X. Liu, Tat-Jun Chin|arXiv (Cornell University)|2016. 08. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 대응이 부족한 영역에서 as-projective-as-possible (APAP) 이미지 스티칭의 성능을 향상시키기 위해 데이터 기반의 대응 삽입 방법을 제안한다. 자동으로 잘못 정렬된 영역을 탐지하고 새로운 정확한 점 대응을 삽입함으로써 기하학적 왜곡을 증가시키지 않으면서도 워프의 유연성을 높여, 기준 APAP 및 최신 기술 대비 복잡한 파라락세 상황에서 뛰어난 정렬 성능을 달성한다.

ABSTRACT

Spatially varying warps are increasingly popular for image alignment. In particular, as-projective-as-possible (APAP) warps have been proven effective for accurate panoramic stitching, especially in cases with significant depth parallax that defeat standard homographic warps. However, estimating spatially varying warps requires a sufficient number of feature matches. In image regions where feature detection or matching fail, the warp loses guidance and is unable to accurately model the true underlying warp, thus resulting in poor registration. In this paper, we propose a correspondence insertion method for APAP warps, with a focus on panoramic stitching. Our method automatically identifies misaligned regions, and inserts appropriate point correspondences to increase the flexibility of the warp and improve alignment. Unlike other warp varieties, the underlying projective regularization of APAP warps reduces overfitting and geometric distortion, despite increases to the warp complexity. Comparisons with recent techniques for parallax-tolerant image stitching demonstrate the effectiveness and simplicity of our approach.

연구 동기 및 목표

• 특징 매칭 수가 부족한 영역에서 APAP 워프의 유연성과 정확도가 떨어지는 문제를 해결하기 위해.
• 기하학적 깊이 파라락세가 뚜렷한 장면에서 표준 호모그래피가 실패하는 상황에서의 패ano믹 스티칭을 향상시키기 위해.
• 대응이 부족한 영역에 새로운 대응을 삽입하여 APAP 워핑 성능을 향상시키는 방법을 개발하기 위해.
• 워프 복잡도가 증가함에도 불구하고 기하학적 충실도를 유지하고 과적합을 줄이기 위해.

제안 방법

• APAP 워프 잔차 오차에 기반한 신뢰도 기반 지표를 사용하여 입력 이미지의 겹침 영역에서 잘못 정렬된 영역을 탐지한다.
• 이동식 직선 변환(MDLT) 프레임워크를 활용하여 새로운 대응을 탐색하는 방법을 수립하여 효율적이고 정확한 대응 추정을 가능하게 한다.
• 공간적으로 적응적인 가중치 부여 방식에 따라 고워프 오차가 큰 영역에 대해 국소 최적화 전략을 적용하여 새로운 대응을 삽입한다.
• 신뢰할 수 있는 대응을 최소한도로 false positive를 줄이기 위해 국소 윈도우(31×31) 내에서 조밀한 검색을 수행한다.
• 기존의 APAP 파이프라인과 원활하게 통합되어 워프의 기초 프로젝티브 정규화를 변경하지 않고도 성능을 향상시킨다.
• 새로운 대응의 영향력을 제어하는 정규화 항을 도입하여 과적합을 방지하고 부드러움을 유지한다.

실험 결과

연구 질문

• RQ1 자동 대응 삽입이 대응이 부족한 영역에서 APAP 워프의 성능을 향상시킬 수 있는가?
• RQ2 기하학적 왜곡을 유발하지 않으면서도 유연성을 높이기 위해 새로운 대응을 신뢰성 있게 탐지하고 삽입할 수 있는가?
• RQ3 복잡한 깊이 변화가 있는 장면에서 제안된 방법이 기준 APAP 및 파라락세에 강건한 스티칭 기술보다 우수한 성능을 보일 수 있는가?
• RQ4 어려운 와이드-베이스라인 이미지 쌍에서 대응 삽입이 잘못 정렬 및 가시광선 아티팩트를 어느 정도 줄일 수 있는가?
• RQ5 복잡한 장면 기하학에 국소적으로 적응하면서도 전역적인 프로젝티브 일致성을 유지할 수 있는가?

주요 결과

• 제안된 APAP+CI 방법은 기준 APAP가 실패하는 저특징 밀도 영역(연기통, 유리 건물 등)에서 기하학적 왜곡을 크게 감소시킨다.
• 사찰 및 상점 앞 유사 쌍과 같이 복잡한 깊이 파라락세가 있는 장면에서 APAP+CI는 원본 APAP 및 파라락세에 강건한 스티칭보다 시각적으로 열등한 정렬 성능을 달성한다.
• 배경의 탑과 같은 배경 구조의 불연속성을 새로운 대응 삽입을 통해 복구하여 연속성을 복원한다.
• 그림 1c에 나타낸 바와 같이 25개의 새로운 대응을 삽입함으로써 반복 텍스처가 있는 영역에서 정렬 성능 향상이 명확하게 측정되었다.
• 플로우 기반 방법과 비교할 때, 제안된 방법은 와이드-베이스라인 스티칭에서 더 정확한 대응을 생성하여 무문자나 반복 영역에서 흔히 발생하는 정확도 저하 문제를 피한다.
• APAP의 프로젝티브 정규화를 유지함으로써 워프 복잡도가 증가하더라도 과적합을 방지한다.