[논문 리뷰] DeepMeshFlow: Content Adaptive Mesh Deformation for Robust Image Registration

Nianjin Ye, Chuan Wang외 4명|arXiv (Cornell University)|2019. 12. 11.

Advanced Vision and Imaging참고 문헌 30인용 수 10

한 줄 요약

이 논문은 메쉬플로우의 비선형 운동 모델링 능력과 딥 호모그래피의 무늬 내성과를 결합한 비지도 학습 프레임워크인 DeepMeshFlow를 제안한다. 콘텐츠 적응형 마스킹과 다중 해상도 메쉬 변형을 통해 저무늬, 저조도 및 복잡한 환경에서의 이상치를 거부하고 정렬 성능을 향상시킨다. 새로운 벤치마크 데이터셋에서 평균 L2 오차 1.99를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image alignment by mesh warps, such as meshflow, is a fundamental task which has been widely applied in various vision applications(e.g., multi-frame HDR/denoising, video stabilization). Traditional mesh warp methods detect and match image features, where the quality of alignment highly depends on the quality of image features. However, the image features are not robust in occurrence of low-texture and low-light scenes. Deep homography methods, on the other hand, are free from such problem by learning deep features for robust performance. However, a homography is limited to plane motions. In this work, we present a deep meshflow motion model, which takes two images as input and output a sparse motion field with motions located at mesh vertexes. The deep meshflow enjoys the merics of meshflow that can describe nonlinear motions while also shares advantage of deep homography that is robust against challenging textureless scenarios. In particular, a new unsupervised network structure is presented with content-adaptive capability. On one hand, the image content that cannot be aligned under mesh representation are rejected by our learned mask, similar to the RANSAC procedure. On the other hand, we learn multiple mesh resolutions, combining to a non-uniform mesh division. Moreover, a comprehensive dataset is presented, covering various scenes for training and testing. The comparison between both traditional mesh warp methods and deep based methods show the effectiveness of our deep meshflow motion model.

연구 동기 및 목표

• 수동으로 설계된 특징에 의존하고 저무늬 또는 저조도 조건에서 실패하는 전통적 메쉬플로우 방법의 한계를 해결하기 위해.
• 희미한 평면 운동 제약을 갖는 호모그래피 기반 방법의 한계를 극복하기 위해 희박한 메쉬 변형을 통해 비선형 운동 표현을 가능하게 하기 위해.
• 학습 중에 콘텐츠 적응형 마스크를 학습시켜 동적 물체나 깊이 불연속성에 대한 강건성을 향상시키기 위해.
• 정답 옵티컬 플로우 또는 고밀도 애너테이션에 의존하지 않는 비지도 학습 파라다임을 개발하기 위해.
• 다양한 과도한 조건의 카테고리에 걸쳐 이중 시야 영상 정렬을 위한 종합적이고 다양한 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 네트워크는 두 개의 입력 영상을 받아 메쉬 정점에서 정의된 희박한 운동장 예측을 통해 효율적인 비선형 운동 모델링을 가능하게 한다.
• 메쉬 변형에 적합하지 않은 영역(예: 움직이는 물체 또는 무늬가 없는 영역)을 식별하고 거부하기 위해 콘텐츠 적응형 마스크를 학습하기 위한 새로운 트리플릿 손실이 도입된다.
• 학습 과정에서 다수의 메쉬 해상도를 적응적으로 학습하여 복잡한 영역에 집중하면서도 효율성을 유지하는 비균일한 메쉬 분할을 가능하게 한다.
• 피그먼트 수준 재구성 대신 깊이 특징 유사도 기반 손실 함수와 가역성 있는 워핑 레이어를 사용하여 비지도 방식으로 학습이 수행된다.
• 백본 네트워크(예: ResNet)를 통합하여 깊이 특징을 추출하고, 이 특징을 바탕으로 메쉬 변형과 적응형 마스크를 모두 예측한다.
• 직접적인 픽셀 수준 감독을 피하기 위해, 워핑된 소스 영상의 특징과 타겟 영상의 특징을 비교함으로써 어려운 조건에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 메쉬 변형 모델이 기존의 특징 기반 방법이 실패하는 저무늬 및 저조도 환경에서 강력한 영상 정렬을 달성할 수 있는가?
• RQ2 콘텐츠 적응형 마스킹은 동적 물체나 깊이 불연속성이 존재하는 상황에서 메쉬 기반 정렬의 강건성을 어떻게 향상시키는가?
• RQ3 비균일한 메쉬 분할을 통해 비정적 해상도 메쉬에 비해 복잡한 환경에서 성능 향상 정도는 어느 정도인가?
• RQ4 정답 운동장 또는 옵티컬 플로우가 없는 조건에서 비지도 학습 전략이 정확한 메쉬플로우를 효과적으로 학습할 수 있는가?
• RQ5 제안된 방법은 다양한 환경 카테고리에서 고전적 메쉬플로우 및 딥 호모그래피 기반 베이스라인과 비교해 정량적·정성적으로 어떻게 성능가능한가?

주요 결과

• 제안된 방법은 테스트 세트에서 평균 L2 오차 1.99를 기록하며, Meshflow(2.44)와 비지도 딥 호모그래피(2.45)를 크게 앞서나간다.
• 제거 실험 결과, 적응형 마스크를 제거할 경우 평균 오차가 2.50으로 증가하고, 저무늬 카테고리에서 0.96점의 성능 저하가 발생하여, 강건성 확보에 있어 마스크의 핵심적 역할을 입증한다.
• 고정 해상도 메쉬(1×1, 4×4, 16×16)는 적응형 메쉬 해상도에 비해 성능을 따라잡지 못함을 보여주며, 비균일한 메쉬 분할의 우수성을 입증한다.
• 시각적 비교 결과, DeepMeshFlow는 특히 건물 외벽과 지면 평면 등의 깊이 경계에서 블러링 및 가려움 현상을 줄여 혼합 영상의 품질을 향상시킨다.
• 모든 다섯 가지 데이터셋 카테고리—정규, 저무늬, 저조도, 소형 배경, 대형 배경—에서 뛰어난 성능을 기록하여 광범위한 강건성을 입증한다.
• 픽셀 수준 재구성 대신 깊이 특징 기반 손실을 사용함으로써, 무늬가 없거나 노이즈가 많은 영역에서의 정렬 품질이 향상된다.