[논문 리뷰] Coarse to fine non-rigid registration: a chain of scale-specific neural networks for multimodal image alignment with application to remote sensing

Armand Zampieri, Guillaume Charpiat외 1명|arXiv (Cornell University)|2018. 02. 27.

Advanced Vision and Imaging참고 문헌 3인용 수 8

한 줄 요약

이 논문은 다중모달 원격 탐사 영상 정렬을 위한 코arse-to-fine 방식의 스케일 특정 신경망 체인을 제안한다. 이는 느린 기울기 하강법을 회피하고 선형 시간 내에 변형 장을 직접 예측한다. RGB 영상과 토지등록도, 도로 폴리라인 간 정렬에서 최신 기술 수준의 성능을 달성하며, 관건 매칭 방법보다 빠르고 정확도가 높다. 다양한 데이터셋과 해상도에서 뛰어난 성능을 보인다.

ABSTRACT

We tackle here the problem of multimodal image non-rigid registration, which is of prime importance in remote sensing and medical imaging. The difficulties encountered by classical registration approaches include feature design and slow optimization by gradient descent. By analyzing these methods, we note the significance of the notion of scale. We design easy-to-train, fully-convolutional neural networks able to learn scale-specific features. Once chained appropriately, they perform global registration in linear time, getting rid of gradient descent schemes by predicting directly the deformation.We show their performance in terms of quality and speed through various tasks of remote sensing multimodal image alignment. In particular, we are able to register correctly cadastral maps of buildings as well as road polylines onto RGB images, and outperform current keypoint matching methods.

연구 동기 및 목표

• RGB 영상과 토지등록도 등과 같은 다중모달 원격 탐사 영상 간 정렬 불일치 문제를 해결함으로써 기계학습 및 지리공간 분석을 방해하는 요소를 제거한다.
• 기존의 정렬 방법의 한계, 즉 느린 기울기 하강 최적화 및 수작업으로 설계된 특징에 의존하는 문제를 해결한다.
• 반복적인 보정 없이도 직접적인 엔드 투 엔드 예측이 가능한 딥 러닝 프레임워크를 개발한다.
• 다양한 원격 탐사 데이터셋에서 건물 모서리와 도로 폴리라인과 같은 복잡한 구조물의 고정밀 정렬을 가능하게 한다.
• 오차가 있는 참값을 자동으로 정렬함으로써 대규모 정확한 학습 데이터셋을 신뢰성 있게 구축할 수 있도록 한다.

제안 방법

• 각기 다른 해상도 스케일에서 변형 장을 예측하도록 훈련된 완전 컨volution 신경망 체인을 설계한다.
• 코어스 투 파인 전략을 적용: 저해상도 네트워크가 큰 스케일의 변형을 예측하고, 이를 고해상도 네트워크가 보정한다.
• 각 네트워크를 픽셀 단위의 손실 함수를 사용해 엔드 투 엔드로 훈련하며, 원본 이미지를 목표 이미지에 맞게 왜곡한 결과와의 L2 손실과 정규화 항을 포함한다.
• 세부 정보를 유지하고 공간 일관성을 확보하기 위해 스케일 특정 네트워크 간에 스킵 연결을 적용한다.
• 특히 벡터 기반 토지등록도와 같은 희박한 모odal리티에서의 일반화를 향상시키기 위해 인위적인 무작위 변형을 활용한 데이터 증강을 적용한다.
• 건물 가장자리와 모서리 등 에지가 많은 영역에서의 훈련을 향상시키기 위해 손실 함수에 더 높은 가중치를 적용함으로써 구조적 특징의 정렬 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 스케일 특정 신경망 체인은 다중모달 원격 탐사 영상 정렬에서 기존의 비선형 정렬 방법보다 속도와 정확도 면에서 뛰어나게 작용할 수 있는가?
• RQ2 엔드 투 엔드 딥 러닝이 비선형 정렬에서 반복 최적화의 필요성을 얼마나 효과적으로 제거할 수 있는가?
• RQ3 다양한 해상도와 모달리티 유형을 가진 다른 원격 탐사 데이터셋에 대해 이 모델의 일반화 능력은 어느 정도인가?
• RQ4 이 방법은 희박한 벡터 기반 토지등록 데이터(예: 건물 다각형 및 도로 폴리라인)를 고해상도 RGB 영상과 효과적으로 정렬할 수 있는가?
• RQ5 코어스 투 파인 다중 스케일 설계가 건물 모서리와 도로 네트워크와 같은 복잡한 기하학적 구조의 정렬에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 포레즈 및 키티 데이터셋에서 RGB 영상과 토지등록도, 도로 폴리라인 간 정렬에서 최신 기술 수준의 성능을 달성하며, 관건 매칭 방법을 능가한다.
• Kitti 데이터셋(9 cm/픽셀 해상도)에서는 고해상도 RGB 영상과 세분화 레이블 간의 정렬에 성공했으며, 정렬 후 90% 이상의 픽셀이 피кс셀 이내의 오차를 보였다.
• Kitti 데이터셋의 오차 히스토GRAM은 정렬 후 오차가 급격히 감소했으며, 대부분의 픽셀이 0.5픽셀 이내의 오차 범위에 포함되었다.
• 이 모델은 다른 작업, 예를 들어 스테레오 시각에서의 깊이 추정 등에도 잘 일반화되어 있으며, 최소한의 튜닝으로 유망한 결과를 도출했다.
• 스케일 특정 네트워크의 사용 덕분에 선형 시간 추론이 가능해졌으며, 기울기 하강 기반 방법보다 빠른 속도를 기록하면서도 높은 정확도를 유지했다.
• 토지등록도에 모서리 인식 채널을 추가함으로써 공유 벽을 가진 인접한 건물 간 정렬 정확도가 향상되어, 모델이 구조적 특징에 민감하게 반응함을 입증했다.