[논문 리뷰] STN-Homography: estimate homography parameters directly

Qiang Zhou, Xin Li|arXiv (Cornell University)|2019. 06. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 공간 변환 네트워크(스패티얼 트랜스포머 네트워크, STN)를 기반으로 한 새로운 CNN 기반 방법인 STN-Homography를 제안한다. 이 방법은 4점 매개변수화를 거치지 않고 직접 정규화된 $3\times3$ 호모그래피 행렬을 회귀한다. 좌표 정규화를 통해 요소의 분산을 줄임으로써, MSCOCO에서 평균 코너 오차 2.14픽셀의 최신 기술 수준(SOTA) 정확도를 달성하며, GPU에서 추론 시 1회에 4.87ms로 매우 빠른 처리 속도를 보인다.

ABSTRACT

In this paper, we introduce the STN-Homography model to directly estimate the homography matrix between image pair. Different most CNN-based homography estimation methods which use an alternative 4-point homography parameterization, we use prove that, after coordinate normalization, the variance of elements of coordinate normalized $3 imes3$ homography matrix is very small and suitable to be regressed well with CNN. Based on proposed STN-Homography, we use a hierarchical architecture which stacks several STN-Homography models and successively reduce the estimation error. Effectiveness of the proposed method is shown through experiments on MSCOCO dataset, in which it significantly outperforms the state-of-the-art. The average processing time of our hierarchical STN-Homography with 1 stage is only 4.87 ms on the GPU, and the processing time for hierarchical STN-Homography with 3 stages is 17.85 ms. The code will soon be open sourced.

연구 동기 및 목표

• 회전, 이동, 스케일, 비틀림 성분의 크기 변화로 인해 기울어진 기울기를 가진 4점 호모그래피 매개변수화 방식의 한계를 해결하기 위해, CNN 기반 호모그래피 추정에서 기울어진 기울기 문제를 해결한다.
• 좌표 정규화를 통해 정규화된 호모그래피 행렬의 요소 크기 분산이 낮음을 입증하며, 이는 CNN을 통한 직접 회귀에 적합함을 보여준다.
• 반복적으로 호모그래피 예측을 정밀화하기 위해 계층적 및 시퀀스 기반 STN-Homography 아키텍처를 개발한다.
• 중간 단계에서 진짜 호모그래피 값을 필요로 하지 않고도 종단 간 훈련을 가능하게 하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 낮은 추론 지연을 유지하면서 MSCOCO 데이터셋에서 기존 방법들을 능가하는 우수한 성능을 달성한다.

제안 방법

• 이미지의 너비 $W$와 높이 $H$를 고려해 변환 행렬 $M = \begin{bmatrix}\frac{2}{W}&0&-1\\ 0&\frac{2}{H}&-1\\ 0&0&1\end{bmatrix}$ 를 사용하여 픽셀 좌표를 정규화함으로써 호모그래피 행렬 $H_{ba}$ 를 $\overline{H}_{ba} = M H_{ba} M^{-1}$ 로 정규화하여 요소의 분산을 감소시킨다.
• 공간 변환 네트워크(STN)를 활용해 이미지 쌍에서 직접 정규화된 호모그래피 행렬 $\overline{H}_{ba}$ 를 예측함으로써 4점 매개변수화를 생략한다.
• 각 단계에서 예측된 호모그래피를 사용해 입력을 왜곡하는 방식으로, 여러 개의 STN-Homography 모듈을 스택하여 계층적 STN-Homography 모델을 설계한다.
• 원본 이미지 쌍을 입력으로 받아 종단 간 훈련을 수행하는 시퀀스 기반 STN-Homography 모델을 도입하며, 각 단계는 이전 단계의 왜곡된 출력을 사용한다.
• 다중 단계 정밀화를 위해 복합 호모그래피 $\overline{H}_2 = \overline{H}_2' \overline{H}_1$ 와 $\overline{H}_3 = \overline{H}_3' \overline{H}_2$ 를 계산하기 위한 미분 가능한 텐서 호모그래피 병합 레이어를 구현한다.
• 진짜 호모그래피 값이 없는 경우에도 괜찮은 성능을 내기 위해, 정규화된 호모그래피 예측 $\overline{H}_{ba}$ 에 대한 L2 손실과 왜곡된 영역의 L1 광학적 손실을 조합하여 훈련함으로써 반감독 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 좌표 정규화 이후 CNN이 직접 $3\times3$ 호모그래피 행렬을 회귀할 수 있는가? 이는 4점 매개변수화 방식보다 더 높은 성능을 낼 수 있는가?
• RQ2 정규화된 호모그래피 행렬 요소의 낮은 분산이 더 효과적인 훈련과 향상된 회귀 정확도를 가능하게 하는가?
• RQ3 계층적 또는 시퀀스 기반 STN-Homography 아키텍처가 반복적으로 추정 오차를 줄이며, 기존의 CNN 기반 호모그래피 추정 방법을 능가할 수 있는가?
• RQ4 호모그래피 예측에 대한 L2 손실과 광학적 손실에 대한 L1 손실을 조합함으로써 모델의 강건성과 일반화 능력이 얼마나 향상되는가?
• RQ5 시퀀스 기반 STN-Homography 모델은 중간 단계에서 진짜 호모그래피 값을 필요로 하지 않고 종단 간 훈련이 가능한가?

주요 결과

• 제안된 STN-Homography 모델은 MSCOCO 데이터셋에서 이중 단계 시퀀스 모델을 사용해 평균 코너 오차 2.14픽셀을 달성하였으며, 이는 이중 단계 계층 모델(2.6픽셀)을 능가하는 성능이다.
• 단일 단계 STN-Homography 모델의 평균 추론 시간은 GPU에서 단지 4.87ms이며, 삼중 단계 계층 버전은 17.85ms로 매우 효율적임을 보였다.
• 훈련 중에 정규화된 호모그래피 예측 $\overline{H}_{ba}$ 에 대한 L2 손실이 L1 광학적 손실보다 성능 향상에 더 중요한 역할을 한다.
• 시퀀스 기반 STN-Homography 모델은 중간 단계에서 진짜 호모그래피 값을 필요로 하지 않고 종단 간 훈련이 가능해 훈련의 유연성을 높였다.
• 진짜 호모그래피 값이 없는 샘플들에 대해서도 광학적 일관성만을 기반으로 반감독 학습이 가능해져, 모델이 반감독 환경에서도 효과적으로 학습할 수 있다.
• 이 방법은 MSCOCO 벤치마크에서 최신 기술 수준(SOTA)을 크게 뛰어넘어, 호모그래피 추정 정확도의 새로운 표준을 수립했다.