[논문 리뷰] Content-Aware Unsupervised Deep Homography Estimation

Jirong Zhang, Chuan Wang외 6명|arXiv (Cornell University)|2019. 09. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 59인용 수 23

한 줄 요약

이 논문은 저조도, 낮은 무늬, 움직이는 물체와 같은 과도한 실생활 시나리오에서 정렬을 향상시키기 위해 강건한 특징 표현과 공간적 이상치 마스크를 동시에 학습하는 콘텐츠 인식형 비지도 학습 딥 러닝 방법을 제안한다. 비지도 학습을 위해 새로운 트리플릿 손실를 사용하고 원시 픽셀 강도 대신 딥 특징을 최적화함으로써, 새로운 다양한 기준 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전의 지도 학습 및 비지도 학습 방법들을 크게 능가한다.

ABSTRACT

Homography estimation is a basic image alignment method in many applications. It is usually conducted by extracting and matching sparse feature points, which are error-prone in low-light and low-texture images. On the other hand, previous deep homography approaches use either synthetic images for supervised learning or aerial images for unsupervised learning, both ignoring the importance of handling depth disparities and moving objects in real world applications. To overcome these problems, in this work we propose an unsupervised deep homography method with a new architecture design. In the spirit of the RANSAC procedure in traditional methods, we specifically learn an outlier mask to only select reliable regions for homography estimation. We calculate loss with respect to our learned deep features instead of directly comparing image content as did previously. To achieve the unsupervised training, we also formulate a novel triplet loss customized for our network. We verify our method by conducting comprehensive comparisons on a new dataset that covers a wide range of scenes with varying degrees of difficulties for the task. Experimental results reveal that our method outperforms the state-of-the-art including deep solutions and feature-based solutions.

연구 동기 및 목표

• 기존 특징 기반 호모그래피 추정 기법이 낮은 무늬 또는 낮은 조도 환경에서 특징 품질이 열 劣하여 실패하는 문제를 해결하기 위해.
• 합성 데이터로 훈련된 지도 학습 딥 호모그래피 방법의 일반화 갭을 극복하기 위해 실생활 이미지 쌍을 대상으로 비지도 접근 방식을 제안하기 위해.
• 깊이의 불일치 및 움직이는 물체에 대한 강건성을 향상시키기 위해 훈련 중에 신뢰할 수 없는 영역을 억제하는 콘텐츠 인식 마스크를 학습하기 위해.
• 지상 진실 호모그래피가 없는 비지도 학습을 가능하게 하기 위해, 동일 영역의 특징 일관성을 장려하는 새로운 트리플릿 손실를 설계하기 위해.
• 미래의 이미지 정렬 연구를 위한 새로운 종합적 기준 데이터셋을 구축하기 위해, 다양한 실생활 시나리오와 인간이 애너테이션한 지상 진실 대응점을 포함하기 위해.

제안 방법

• 이 방법은 이미지 쌍에서 딥 특징을 추출하기 위해 공유 백본을 사용하는 이중 스트림 인코더를 활용하며, 특징 강화 모듈을 통해 분별 능력을 향상시킨다.
• 콘텐츠 인식 마스크는 엔드 투 엔드로 예측되어, 훈련 중에 신뢰할 수 없는 영역(예: 움직이는 물체 또는 비평면 표면)을 손실 계산에서 억제한다.
• 손실은 픽셀 강도가 아니라 딥 특징 기반으로 계산되어, 조명 변화 및 무늬 변동에 더 강건한 최적화를 가능하게 한다.
• 기하학적 일관성을 강제하기 위해 새로운 트리플릿 손실를 도입한다: 동일 영역의 특징 간의 거리를 최소화하고, 잘못 매칭된 영역 간의 거리를 최대화한다.
• 네트워크는 이중 단계 전략으로 훈련된다: 먼저 사전 훈련된 특징 추출기를 사용하고, 이후 모든 구성 요소를 공동으로 미세 조정함으로써 수렴성과 성능을 향상시킨다.
• 광학 일관성과 트리플릿 손실를 사용해 비지도 방식으로 프레임워크를 훈련하며, 지상 진실 호모그래피 없이도 의미 있는 특징 학습을 보장한다.

실험 결과

연구 질문

• RQ1 지도 학습 없이 저조도, 낮은 무늬, 움직이는 물체가 있는 실생활 시나리오에서 딥 네트워크가 호모그래피 추정을 강건하게 수행할 수 있는가?
• RQ2 비지도 호모그래피 추정 중에 동적 물체나 비평면 표면과 같은 이상치 영역을 딥 네트워크가 효과적으로 억제할 수 있는가?
• RQ3 픽셀 수준의 광학 일관성 손실 대비 딥 특징 기반 손실이 정렬 정확도와 강건성 측면에서 얼마나 우수한가?
• RQ4 제안된 트리플릿 손실가 비지도 호모그래피 학습을 위한 안정적이고 비자명한 최적화를 얼마나 효과적으로 가능하게 하는가?
• RQ5 제안된 방법이 심한 깊이 변화와 조명 변화가 있는 다양한 실생활 시나리오에 대해 일반화 가능한가?

주요 결과

• 학습을 처음부터 시작한 경우 대비 평균 오차가 4.40% 낮아졌으며, 이는 이중 단계 훈련 전략의 효과를 입증한다.
• 트리플릿 손실가 없는 기준 모델 대비 저조도 환경에서 오차가 70.10% 감소했고, 저무늬 환경에서는 118.42% 감소하여 강건성을 입증한다.
• ResNet-18 또는 ShuffleNet 백본을 사용할 경우 ResNet-34와 유사한 성능을 달성하여 경량 장치에의 구현 잠재력을 보여준다.
• 콘텐츠 인식 마스크는 인라이어 영역 선택과 주의 메커니즘을 모두 통합한 균형 잡힌 가중치 맵을 학습하여, 마스크를 하나의 기능(예: 둘 중 하나)에만 사용하는 모델보다 우수한 성능을 낸다.
• 이중 SIFT+RANSAC 및 이전의 비지도 DNN 기반 방법들 모두의 모든 벤치마크 카테고리에서 상당한 성능 향상을 보이며, 움직이는 물체나 텍스처가 없는 영역이 있는 어려운 케이스에서도 승리한다.
• 제거 실험 결과, 특징 기반 손실과 트리플릿 손실가 성능에 결정적인 영향을 미치며, 픽셀 수준의 손실은 이상치가 극도로 희박한 마스크와 열 劣한 정렬을 초래함을 확인한다.