[논문 리뷰] Hierarchical Spatial Transformer Network

Chang Shu, Xi Chen외 2명|arXiv (Cornell University)|2018. 01. 29.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 선형 변환과 광학 흐름 추정을 이원 분기 CNN를 통해 통합하여 전역 및 국소적 이미지 변형을 모델링하는 계층적 공간 변환망(HSTN)을 제안한다. 사전 훈련된 STN 가중치로 선형 변환을 초기화하고 광학 흐름 기반 모듈과 공동으로 훈련함으로써, HSTN은 이미지 정렬 및 혼잡한 MNIST 분류에서 기존 최고 수준의 방법들에 비해 뛰어난 정확도와 빠른 속도를 달성한다.

ABSTRACT

Computer vision researchers have been expecting that neural networks have spatial transformation ability to eliminate the interference caused by geometric distortion for a long time. Emergence of spatial transformer network makes dream come true. Spatial transformer network and its variants can handle global displacement well, but lack the ability to deal with local spatial variance. Hence how to achieve a better manner of deformation in the neural network has become a pressing matter of the moment. To address this issue, we analyze the advantages and disadvantages of approximation theory and optical flow theory, then we combine them to propose a novel way to achieve image deformation and implement it with a hierarchical convolutional neural network. This new approach solves for a linear deformation along with an optical flow field to model image deformation. In the experiments of cluttered MNIST handwritten digits classification and image plane alignment, our method outperforms baseline methods by a large margin.

연구 동기 및 목표

• 공간 변환망(STN)이 강력한 전역 변형 능력에도 불구하고 국소적 공간 변동성을 다루는 데에 한계가 있음을 해결하기 위해.
• 큰 이동 거리에서 실패하는 광학 흐름의 제약을 계층적 구조와 초기 선형 변환을 통합함으로써 극복하기 위해.
• 근사 이론과 광학 흐름 이론을 딥 러닝 프레임워크 안에서 통합하여 이미지 변형 모델링을 향상시키기 위해.
• 지표가 없는 지도 학습 없이도 종단 간(end-to-end), 비지도 학습을 통해 이미지 정렬을 가능하게 하기 위해.
• 표준 신경망에 통합 가능한 고정확도, 실시간 이미지 변형을 달성하기 위해.

제안 방법

• HSTN은 이원 분기 계층적 CNN을 사용한다: 한 분기는 선형 변환을 추정하고(사전 훈련된 STN 가중치로 초기화), 다른 분기는 잔여 국소 변형을 위한 광학 흐름을 추정한다.
• 입력 이미지는 먼저 선형 변환되어 큰 이동 거리를 줄여 광학 흐름 추정이 밝기 일관성 조건을 충족하도록 한다.
• 근사 이론에서 유도된 굽힘 에너지 페널티와 광학 흐름 이론에서 유도된 부드러움 페널티를 적용하여 광학 흐름 필드를 정규화한다.
• 비지도 학습 방식으로, 변형된 소스 이미지와 타겟 이미지 간의 ℓ₂ 손실을 사용해 네트워크를 종단 간으로 훈련한다.
• 계층적 설계 덕분에 선형 모듈이 거시적 정렬을 담당하고, 흐름 모듈이 미세한 왜곡을 보정한다.
• 아핀, 투영, 얇은 판 스퍼링 변환을 지원하여 다양한 공간 변환의 유연성을 확보한다.

실험 결과

연구 질문

• RQ1 계층적 딥 러닝 아키텍처가 동시에 전역 및 국소적 이미지 변형을 효과적으로 모델링할 수 있는가?
• RQ2 STN 가중치로 선형 변환 모듈을 사전 초기화하면 이미지 정렬 작업에서 수렴 속도와 성능 향상에 기여하는가?
• RQ3 근사 이론과 광학 흐름 이론을 통합함으로써 큰 이동 거리에서도 더 나은 일반화와 강건성을 달성할 수 있는가?
• RQ4 제안된 방법이 비지도 이미지 정렬에서 STN 기반 및 광학 흐름 기반 기준선보다 뛰어난 정확도와 속도를 달성할 수 있는가?
• RQ5 기존 광학 흐름이 실패하는 큰 이동 거리 상황에서도 계층적 설계가 고성능 유지에 효과적인가?

주요 결과

• HSTN은 이미지 평면 정렬에서 종단 오차(EPE)가 1.8088로, 이어지는 최고 성능 방법(LDOF)의 5.9467보다 뚜렷이 뛰어나다.
• HSTN은 다른 STN 기반 방법들과 유사한 빠른 추론 시간(0.0034초)을 유지하면서도, 가장 빠른 기준선(Affine-STN)보다 3배 이상 정확도가 높다.
• 혼잡한 MNIST 수기 숫자 분류에서 HSTN은 모든 STN 변종과 광학 흐름 기준선을 압도적으로 능가하여 기하학적 왜곡 하에서도 강력한 일반화 능력을 입증한다.
• 선형 변환 초기화에 사전 훈련된 STN 가중치를 사용함으로써 수렴 속도 향상과 더 나은 정렬 성능 달성이 가능하다.
• 초기 선형 왜곡을 통해 큰 이동 거리를 줄임으로써 HSTN은 광학 흐름 조건을 성공적으로 충족하여 큰 변형 영역에서의 실패를 방지한다.
• 굽힘 에너지와 부드러움 페널티의 통합은 더 안정적이고 현실적인 변형 필드를 생성하여 시각적 품질과 정렬 정확도를 향상시킨다.