[논문 리뷰] Recurrent Models of Visual Attention

Volodymyr Mnih, Nicolas Heess외 2명|arXiv (Cornell University)|2014. 06. 24.

Visual Attention and Saliency Detection참고 문헌 22인용 수 2,273

한 줄 요약

이 논문은 이미지나 영상의 고해상도 영역에 선택적으로 주목하는 순환 신경망 모델을 제안하며, 관련 영역만 처리함으로써 계산 비용을 줄입니다. 강화학습을 통해 작업에 특화된 주의 정책을 학습하여, 혼잡한 이미지 분류에서 컨volutional 신경망(CNN)을 능가하고, 명시적 지도 없이도 객체 추적을 학습합니다.

ABSTRACT

Applying convolutional neural networks to large images is computationally ex-pensive because the amount of computation scales linearly with the number of image pixels. We present a novel recurrent neural network model that is ca-pable of extracting information from an image or video by adaptively selecting a sequence of regions or locations and only processing the selected regions at high resolution. Like convolutional neural networks, the proposed model has a degree of translation invariance built-in, but the amount of computation it per-forms can be controlled independently of the input image size. While the model is non-differentiable, it can be trained using reinforcement learning methods to learn task-specific policies. We evaluate our model on several image classification tasks, where it significantly outperforms a convolutional neural network baseline on cluttered images, and on a dynamic visual control problem, where it learns to track a simple object without an explicit training signal for doing so. 1

연구 동기 및 목표

• 대규모 이미지를 처리하는 데에 소비되는 계산 비용을 줄이기 위해.
• 전체 이미지 크기 대비 관련 이미지 영역에 비례하는 계산을 수행하는 모델을 개발하기 위해.
• 적응적 주의 기반 메커니즘을 통해 이동 불변 특징 학습을 가능하게 하기 위해.
• 작업에 특화된 주의 정책을 얻기 위해 강화학습을 사용하여 모델을 훈련하기 위해.

제안 방법

• 모델는 은닉 상태와 이미지 특징에 기반해 주의를 기울일 영역의 시퀀스를 예측하기 위해 순환 네트워크를 사용합니다.
• 선택된 영역만 고해상도로 처리되고, 나머지는 무시되므로 계산 부담이 감소합니다.
• 주의 기반 메커니즘이 미분 가능하지 않기 때문에, 정책 기반 강화학습을 사용해 네트워크를 훈련시킵니다.
• 순환 구조의 공유 가중치와 국소 처리를 통해 이동 불변성을 유지합니다.
• 작업에서의 보상 신호가 정책 기반 강화학습 방법을 통해 주의 정책을 이끌어냅니다.
• 이 아키텍처는 정적 이미지 분류와 동적 시각 제어 작업 모두를 지원합니다.

실험 결과

연구 질문

• RQ1 순환 모델이 성능을 저하시키지 않고 계산을 줄이기 위해 관련 이미지 영역에 주의를 기울일 수 있는가?
• RQ2 전체 이미지 처리에 비해 선택적 주의가 혼잡한 이미지의 분류 정확도를 어떻게 향상시키는가?
• RQ3 모델은 명시적 지도 없이도 또는 지도 추적 신호 없이도 움직이는 물체를 추적할 수 있는가?
• RQ4 기존의 CNN과 비교해 입력 이미지 크기에 비례해 성능이 어떻게 변화하는가?
• RQ5 비미분 가능한 주의 기반 메커니즘을 위한 시각 작업 훈련에 강화학습이 얼마나 효과적인가?

주요 결과

• 혼잡한 이미지 분류 작업에서 CNN 기준선 대비 모델이 뚜렷한 성능 향상을 보이며, 간섭 요소에 대한 강건성이 향상됨을 입증함.
• 모델은 이미지 픽셀의 일부만 처리하므로 계산 비용을 크게 줄였음에도 높은 성능 달성.
• 동적 시각 제어 작업에서, 모델은 추적에 대한 명시적 훈련 신호 없이도 움직이는 물체를 추적하는 데 성공함.
• 주의 기반 메커니즘이 객체 경계나 핵심 부분과 같은 관련 특징에 집중함으로써 일반화 능력 향상.
• CNN과 달리 입력 크기가 변하더라도 성능이 안정적으로 유지됨. CNN은 이미지 크기에 비례해 계산 비용이 증가함.
• 비미분 가능한 주의 정책을 훈련시키는 데 강화학습이 효과적으로 기능하여 작업에 특화된 적응이 가능함.