[논문 리뷰] Deep Image Homography Estimation

Daniel DeTone, Tomasz Malisiewicz외 1명|arXiv (Cornell University)|2016. 06. 13.

Advanced Vision and Imaging참고 문헌 13인용 수 165

한 줄 요약

이 논문은 MS-COCO로부터 합성 데이터를 사용하여 엔드-투-엔드로 이미지-대-이미지 호모그래피를 직접 추정하는 심층 CNN인 HomographyNet을 제시하며, 회귀 및 분류 버전이 모두 포함되어 있다.

ABSTRACT

We present a deep convolutional neural network for estimating the relative homography between a pair of images. Our feed-forward network has 10 layers, takes two stacked grayscale images as input, and produces an 8 degree of freedom homography which can be used to map the pixels from the first image to the second. We present two convolutional neural network architectures for HomographyNet: a regression network which directly estimates the real-valued homography parameters, and a classification network which produces a distribution over quantized homographies. We use a 4-point homography parameterization which maps the four corners from one image into the second image. Our networks are trained in an end-to-end fashion using warped MS-COCO images. Our approach works without the need for separate local feature detection and transformation estimation stages. Our deep models are compared to a traditional homography estimator based on ORB features and we highlight the scenarios where HomographyNet outperforms the traditional technique. We also describe a variety of applications powered by deep homography estimation, thus showcasing the flexibility of a deep learning approach.

연구 동기 및 목표

• 깊은 컨볼루션 네트가 별도의 특징 검출 및 RANSAC 스타일의 강건화 없이 호모그래피를 추정할 수 있음을 시연한다.
• 학습을 안정화하고 문제를 잘 조건화하기 위한 4-포인트 코너 매개변수를 제안한다.
• 호모그래피 파라미터를 예측하기 위한 두 개의 네트워크 버전(회귀 및 분류)을 보여준다.
• 실제 이미지로부터 대형 라벨 데이터셋을 합성하기 위한 엔드-투-엔드 데이터 생성 파이프라인을 제공한다.
• 전통적인 ORB+RANSAC 방법과 비교하고 딥 호모그래피 추정의 실용적 응용에 대해 논의한다.

제안 방법

• 128x128x2 입력(두 겹친 그레이스케일 패치)을 받아 8개의 파라미터를 출력하는 VGG 스타일의 8-layer CNN을 사용한다.
• H4point가 4개의 코너 변위(Delta u_i, Delta v_i) i=1..4를 인코딩하는 4-포인트 매개변화를 채택한다.
• 두 가지 아키텍처를 학습하는데, 하나는 실수 8개를 출력하는 회귀 헤드(L2 손실 이용), 다른 하나는 코너당 21개의 양자화 구간과 소프트맥스/교차 엔트로피 손실을 사용하는 분류 헤드이다.
• MS-COCO에서 패치를 임의로 잘라내고 4-포인트 프레임워크로 ground-truth H^{AB}를 생성하기 위해 임의의 투영 변환을 적용하여 학습 데이터를 생성한다.
• 강건성을 높이기 위해 선택적으로 가려짐(occlusions) 및 모션 블러 데이터를 추가로 증강한다.
• 500,000개의 패치 쌍으로 학습하고 Warped MS-COCO 테스트 세트에서 평가한다; ORB+RANSAC 및 아이덴티티 기반 Baseline과 비교한다.

실험 결과

연구 질문

• RQ1 깊은 CNN이 명시적 로컬 특징 검출 및 RANSAC 정제를 거치지 않고도 이미지-대-이미지 호모그래피를 직접 추정할 수 있는가?
• RQ2 4-포인트 코너 매개변수화가 딥 호모그래피 추정의 학습 안정성 및 성능을 향상시키는가?
• RQ3 회귀와 분류 형식이 호모그래피 추정의 정확도 및 활용(예: 신뢰도 추정)에 있어 어떻게 비교되는가?
• RQ4 실시간 또는 임베디드 시스템에 대한 이러한 모델의 적용 가능성과 속도는 어느 정도인가?

주요 결과

• 회귀 HomographyNet은 평가된 방법들 중 평균 코너 오차(mean average corner error)가 가장 우수하다.
• 분류형 HomographyNet은 코너별 신뢰도 분포를 제공하여 디버깅 및 불확실성 추정에 유용하다.
• 시스템은 NVIDIA Titan X에서 초당 300프레임 이상으로 실행되어 실시간 또는 임베디드 배포를 가능하게 한다.
• 4-포인트 매개변수화가 차원 간의 코너 변위를 정렬함으로써 학습 문제를 잘 다루도록 만든다.
• 엔드-투-엔드 학습은 별도의 코너 검출 및 강건한 호모그래피 추정 단계의 필요성을 제거한다.
• 대규모 실제 이미지 데이터로 합성된 데이터를 이용한 학습은 강건한 호모그래피 추정 학습에 효과적이다.