[논문 리뷰] Multiple Object Recognition with Visual Attention

Jimmy Ba, Volodymyr Mnih외 1명|arXiv (Cornell University)|2014. 12. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 6인용 수 701

한 줄 요약

이 논문은 다중 객체 인식을 위해 순차적으로 관련 있는 이미지 영역에 주의를 기울이는 강화 학습을 사용하는 딥 순환 주의 모델(DRAM)을 제안한다. 이 모델은 더 적은 파라미터와 계산량으로도 SVHN 숫자 인식에서 최신의 컨볼루션 네트워크를 능가하며, 특히 더 크고 덜 자르친 이미지에서 뛰어난 성능을 보인다.

ABSTRACT

We present an attention-based model for recognizing multiple objects in images. The proposed model is a deep recurrent neural network trained with reinforcement learning to attend to the most relevant regions of the input image. We show that the model learns to both localize and recognize multiple objects despite being given only class labels during training. We evaluate the model on the challenging task of transcribing house number sequences from Google Street View images and show that it is both more accurate than the state-of-the-art convolutional networks and uses fewer parameters and less computation.

연구 동기 및 목표

• 큰 이미지를 처리할 때 컨볼루션 신경망(ConvNets)의 확장성과 효율성에 대한 한계를 해결한다.
• 학습 중에 클래스 레이블만을 사용하여 다중 객체를 동시에 국소화하고 인식하는 모델을 엔드 투 엔드로 훈련할 수 있도록 한다.
• 변동하는 입력 크기와 변동하는 길이의 객체 시퀀스를 처리할 수 있는 유연하고 효율적인 아키텍처를 개발한다.
• 표준 ConvNets에 비해 실제 세계의 덜 이상적인 이미지 데이터(예: 더 크고 덜 단단히 캐포된 이미지)에서 성능을 향상시킨다.

제안 방법

• 각 시간 단계에서 다중 해상도 이미지 조각(glimpses)을 처리하는 딥 순환 신경망을 사용한다.
• 레이블 시퀀스의 로그우도에 대한 변동형 하한을 최대화하도록 강화 학습을 통해 모델을 훈련한다.
• 주목한 이미지 영역에서 특징을 추출하기 위한 글립스 네트워크와 다음 글립스 위치를 결정하기 위한 순환 제어기(컨트롤러)를 활용한다.
• 정책 네트워크를 사용해 글립스 위치를 출력하고, 필요에 따라 객체 클래스를 예측하며, 더 이상 객체를 감지하지 못할 때까지 과정을 반복한다.
• 학습 중에 글립스 정책에 난수성을 적용하여 일반화 성능을 향상시키고 과적합을 줄인다.
• 이전에 주목한 위치 주변의 자르기 영역에 다시 적용하여 더 큰 이미지에서의 미세조정을 수행함으로써, 재학습 없이도 모델을 적응시킬 수 있다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 훈련 가능한 모델이 클래스 수준의 감독만을 사용하여 이미지 내에서 다중 객체를 국소화하고 인식하는 것을 학습할 수 있는가?
• RQ2 특히 더 크거나 덜 자른 이미지에서 주의 기반 접근 방식이 정확도와 효율성 면에서 표준 ConvNets를 능가하는가?
• RQ3 엄격하게 자른 이미지에서 훈련된 모델이 재학습 없이 더 크고 덜 자른 입력에 일반화될 수 있는가?
• RQ4 다양한 이미지 크기에서 주의 모델의 계산 비용과 파라미터 효율성은 깊이 있는 ConvNets와 비교해 어떻게 되는가?
• RQ5 표준 정규화 기법에 비해 난수성을 가진 글립스 정책이 과적합을 줄이고 일반화 성능을 향상시키는 데 얼마나 기여하는가?

주요 결과

• DRAM 모델은 다중 숫자 SVHN 인식 작업에서 최신 기술을 달성하며, 엄격하게 자른 이미지와 더 큰 덜 자른 이미지 모두에서 최고의 ConvNets를 능가한다.
• 54x54 자른 이미지에서 DRAM 모델은 최고의 ConvNets와 유사한 테스트 오차율을 달성하지만, 훨씬 적은 파라미터와 낮은 계산 비용을 요구한다.
• 110x110로 확대된 이미지에서 DRAM 모델은 미세조정된 ConvNet을 크게 능가하며, 이미지 스케일과 노이즈에 대해 훨씬 더 뛰어난 강건성을 보여준다.
• DRAM 모델은 더 큰 이미지에서 미세조정하는 데 몇 시간 밖에 걸리지 않지만, 10층의 ConvNet은 처음부터 학습하는 데 약 일주일이 소요된다.
• 입력 이미지 크기와 관계없이 계산 비용이 일정하며, 선택된 글립스만 처리하기 때문에 큰 입력에 대해 매우 효율적이다.
• DRAM 모델는 ConvNets보다 과적합에 덜 민감하며, 드롭아웃이 단지 0.1%의 성능 향상만을 제공하는 데 반해, ConvNet은 5.5% 오차율에 도달하기 위해 무거운 드롭아웃이 필요하다.