[논문 리뷰] Recurrent Spatial Transformer Networks

Søren Kaae Sønderby, Casper Kaae Sønderby외 2명|arXiv (Cornell University)|2015. 09. 17.

Image Enhancement Techniques참고 문헌 5인용 수 37

한 줄 요약

이 논문은 난잡한 MNIST 시퀀스에서 개별 숫자를 순차적으로 주의 집중하고 분류하기 위해 순환 신경망과 공간 변형망을 조합한 순환 공간 변형망(RNN-SPN)을 제안한다. 각 시간 단계에서 RNN이 공간 변형을 예측함으로써 모델은 관심 영역을 적응적으로 다운샘플링하며, 난잡한 MNIST 데이터셋에서 최신 기술 수준의 단일 숫자 오류율 1.5%를 달성한다. 이는 표준 합성곱 신경망과 피드포워드 SPN 모델을 모두 능가한다.

ABSTRACT

We integrate the recently proposed spatial transformer network (SPN) [Jaderberg et. al 2015] into a recurrent neural network (RNN) to form an RNN-SPN model. We use the RNN-SPN to classify digits in cluttered MNIST sequences. The proposed model achieves a single digit error of 1.5% compared to 2.9% for a convolutional networks and 2.0% for convolutional networks with SPN layers. The SPN outputs a zoomed, rotated and skewed version of the input image. We investigate different down-sampling factors (ratio of pixel in input and output) for the SPN and show that the RNN-SPN model is able to down-sample the input images without deteriorating performance. The down-sampling in RNN-SPN can be thought of as adaptive down-sampling that minimizes the information loss in the regions of interest. We attribute the superior performance of the RNN-SPN to the fact that it can attend to a sequence of regions of interest.

연구 동기 및 목표

• 피드포워드 공간 변형망(FFN-SPN)이 시퀀스에서 모든 숫자를 동시에 주의 집중해야 하는 한계를 해결하기 위해.
• 순환 모델을 활용한 순차적 주의 기반 처리를 통해, 시각적으로 복잡한 장면에서의 시퀀스 분류를 향상시키기 위해.
• RNN 프레임워크 내에서 공간 변형망을 통한 적응적 다운샘플링이 관심 영역의 중요한 정보를 유지하면서도 계산 부담을 줄일 수 있는지 조사하기 위해.
• 어려운 시퀀스 분류 벤치마크에서 RNN-SPN이 표준 합성곱 신경망과 FFN-SPN 모델보다 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• RNN-SPN 모델은 각 시간 단계에서 은닉 상태와 입력 이미지의 합성곱 특징 맵을 기반으로 공간 변형 매개변수를 생성하기 위해 게이트드 순환단위(GRU)를 사용한다.
• 각 시간 단계에서 공간 변형망은 RNN이 예측한 매개변수를 사용해 입력 이미지에 애핀 변환(확대, 회전, 기울임)을 적용한 후, 미분 가능한 샘플링을 위해 이중선형 보간을 수행한다.
• 모델은 해상도를 감소시키기 위해 다운샘플링 인자 d를 사용하며, h와 w는 H/d와 W/d로 설정되어 관심 영역에서의 적응적 다운샘플링을 가능하게 한다.
• 변환된 이미지 크롭은 공유된 합성곱 분류 네트워크를 통과하여 시퀀스 내 각 숫자를 예측하며, 각 위치에 별도의 소프트맥스 레이어를 사용한다.
• 전체 모델은 역전파를 통해 엔드 투 엔드로 훈련되며, 미분 가능한 이중선형 보간 및 공간 변형망 레이어를 통해 기울기가 유입된다.
• SPN 내의 국소화 네트워크는 최대 풀링이 포함된 3층의 합성곱 네트워크로 구현되며, RNN은 256개의 GRU 유닛을 사용하고 3개의 시간 단계를 거친다.

실험 결과

연구 질문

• RQ1 RNN-SPN 모델은 난잡한 장면에서 숫자 시퀀스를 분류하는 데 있어 피드포워드 SPN보다 성능이 뛰어나다고 할 수 있는가?
• RQ2 SPN 레이어를 통한 적응적 다운샘플링이 높은 정보량 영역에 집중하면서 계산 부담을 줄여 성능 향상에 기여하는가?
• RQ3 RNN을 통한 순차적 주의가 단일 글로벌 주의 메커니즘과 달리 시퀀스 내 개별 숫자에 집중할 수 있는가?
• RQ4 다운샘플링 인자 값을 변화시킬 경우 모델의 숫자 분류 정확도 유지 능력에 어떤 영향을 미치는가?
• RQ5 어려운 난잡한 MNIST 시퀀스 데이터셋에서 RNN-SPN 모델은 표준 합성곱 신경망과 FFN-SPN 모델보다 더 효과적인가?

주요 결과

• RNN-SPN 모델은 난잡한 MNIST 시퀀스 데이터셋에서 단일 숫자 오류율 1.5%를 달성하여 표준 합성곱 신경망의 2.9% 오류율을 크게 뛰어넘었다.
• 다운샘플링 인자 d=2를 사용한 RNN-SPN 모델가 최고의 성능(1.5% 오류)을 기록하여, 적절한 수준의 다운샘플링이 정보 손실 없이 관련 영역에 집중하는 데 도움이 된다는 것을 보여주었다.
• d=4를 사용한 모델는 성능이 2.3% 오류로 저하되었으며, 이는 해상도 손실로 인한 과도한 다운샘플링이 성능을 떨어뜨린다는 것을 시사한다.
• RNN-SPN은 FFN-SPN 모델보다 성능이 뛰어나며, d=1일 때 2.0% 오류, d=3일 때 2.9% 오류를 기록한 것과 비교해 볼 때 순차적 주의가 글로벌 주의보다 더 효과적임을 입증한다.
• RNN-SPN 모델은 공간 변형 맵을 통해 시각적으로 각 숫자에 집중하는 것을 성공적으로 학습했으며, 이는 각 숫자에 집중된 고해상도의 영역을 유지함을 보여준다.
• 모델의 성능은 난잡함에 대해 뛰어난 내성성을 보였으며, 노이즈 패치와 겹치는 숫자가 있는 상황에서도 숫자를 격리하고 분류할 수 있었다.