[논문 리뷰] Spatial Transformer Networks

Max Jaderberg, Karen Simonyan외 2명|arXiv (Cornell University)|2015. 06. 05.

Multimodal Machine Learning Applications참고 문헌 38인용 수 63

한 줄 요약

이 논문은 공간 변환기 네트워크(Spatial Transformer Network, STN)를 소개한다. STN은 백프로파게이션을 통해 미분 가능한 모듈로서, 컨볼루션 신경망이 입력 데이터에 따라 공간 변환(예: 크기 조절, 회전, 자르기)을 엔드 투 엔드로 학습할 수 있도록 한다. 입력 데이터에 조건화된 공간 변환을 예측함으로써 STN은 자세 변화에 대한 불변성을 향상시키고, 추가적인 감독 없이도 이미지 분류 및 세분화된 인식 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Convolutional Neural Networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimisation process. We show that the use of spatial transformers results in models which learn invariance to translation, scale, rotation and more generic warping, resulting in state-of-the-art performance on several benchmarks, and for a number of classes of transformations.

연구 동기 및 목표

• 큰 입력 변환(예: 회전, 크기 조절, 이동)에 대해 CNN이 공간 불변성을 확보하지 못하는 한계를 해결하기 위해.
• 신경망 내에서 특징 맵의 동적 공간 조작을 가능하게 하는, 미분 가능하고 엔드 투 엔드로 훈련 가능한 모듈을 개발하기 위해.
• 강화 학습이나 변환 매개변수에 대한 감독 없이도, 네트워크가 암묵적으로 주의 메커니즘과 공간 정규화를 학습할 수 있도록 하기 위해.
• 왜곡된 숫자 인식 및 세분화된 새 분류와 같은 자세 불변성이 요구되는 작업에서 성능을 향상시키기 위해.
• 기존 CNN 아키텍처에 공간 변환기를 효율적으로 통합할 수 있으며, 계산 오버헤드가 최소화됨을 보여주기 위해.

제안 방법

• 공간 변환기 모듈은 특징 맵에서 애핀 변환 매개변수를 예측하는 국소화 네트워크로 구성된다.
• 예측된 매개변수를 사용하여 입력 특징 맵에서 어디서 샘플링할지를 정의하는 샘플링 격자(그리드)를 생성한다.
• 기울기 흐름을 보장하기 위해 이중선형 보간을 사용하여, 미분 가능한 샘플링을 수행한다.
• 모듈은 표준 백프로파게이션을 사용하여 엔드 투 엔드로 훈련 가능한 학습 가능한 레이어로 CNN에 삽입된다.
• 여러 개의 공간 변환기를 병렬로 사용하여 특징 맵의 서로 다른 부분에 주목할 수 있으며, 이는 다중 부분 특징 추출을 가능하게 한다.
• 공간 변환기는 네트워크의 어떤 단계이든 특징 맵에서 작동하므로, 최종 분류 이전에 자세 정규화를 수행할 수 있다.

실험 결과

연구 질문

• RQ1 학습 가능한, 미분 가능한 모듈이 추가 감독 없이 CNN의 공간 불변성을 향상시킬 수 있는가?
• RQ2 공간 변환기는 완전히 미분 가능한 방식으로 암묵적인 주의 메커니즘과 공간 정규화를 학습할 수 있는가?
• RQ3 CNN에 공간 변환기를 통합하면, 큰 자세 변화가 있는 작업에서 성능 향상이 이루어지는가?
• RQ4 병렬로 사용된 다수의 공간 변환기는 데이터 기반 방식으로 서로 다른 객체 부분을 탐지하고 주목할 수 있는가?
• RQ5 표준 CNN 추론 대비 공간 변환기 사용의 계산 비용은 무시할 만큼 낮은가?

주요 결과

• ST-CNN 모델은 CUB-200-2011 세분화된 새 분류 데이터셋에서 84.1%의 정확도를 기록하여, 기준 CNN보다 1.8% 높은 성능을 보였다.
• 448px 입력 해상도 조건에서도 ST-CNN는 84.1%의 정확도를 달성하여, 변환 이후의 다운샘플링이 성능을 저하시키지 않음을 입증했다.
• 공간 변환기는 특정 새 부위를 학습하여 탐지했다: 하나는 머리(빨간색)에 집중하고, 다른 하나는 몸통(초록색)에 집중하여 데이터 기반의 부위 탐지가 가능함을 보였다.
• ST-CNN Multi 모델은 표준 CNN 대비 전방 및 역방향 전파에서 뿐만 아니라 6% 더 느렸으며, 이는 최소한의 계산 오버헤드를 의미한다.
• 왜곡된 MNIST 벤치마크에서 공간 변환기 네트워크는 엔드 투 엔드로 숫자 위치를 자르고 정규화하는 방식으로 최고 성능을 기록했다.
• 공간 변환기 모듈은 변환 매개변수에 대한 명시적 감독 없이도 변환 불변 표현을 학습하는 데 사용될 수 있다.