[논문 리뷰] Where to Focus: Deep Attention-based Spatially Recurrent Bilinear Networks for Fine-Grained Visual Recognition

Lin Wu, Yang Wang|arXiv (Cornell University)|2017. 09. 18.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 6

한 줄 요약

이 논문은 종단 간 훈련을 통해 분류 가능한 객체 부분을 동시에 탐지하고 특징을 추출하는 딥 어텐션 기반 공간 순환 이중선형 네트워크를 제안한다. 소프트 어텐션을 공간 LSTM과 이중선형 풀링과 융합함으로써 모델은 중요한 영역에 동적으로 집중할 수 있으며, 미세한 이미지 분류 및 인물 재식별 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Fine-grained visual recognition typically depends on modeling subtle difference from object parts. However, these parts often exhibit dramatic visual variations such as occlusions, viewpoints, and spatial transformations, making it hard to detect. In this paper, we present a novel attention-based model to automatically, selectively and accurately focus on critical object regions with higher importance against appearance variations. Given an image, two different Convolutional Neural Networks (CNNs) are constructed, where the outputs of two CNNs are correlated through bilinear pooling to simultaneously focus on discriminative regions and extract relevant features. To capture spatial distributions among the local regions with visual attention, soft attention based spatial Long-Short Term Memory units (LSTMs) are incorporated to realize spatially recurrent yet visually selective over local input patterns. All the above intuitions equip our network with the following novel model: two-stream CNN layers, bilinear pooling layer, spatial recurrent layer with location attention are jointly trained via an end-to-end fashion to serve as the part detector and feature extractor, whereby relevant features are localized and extracted attentively. We show the significance of our network against two well-known visual recognition tasks: fine-grained image classification and person re-identification.

연구 동기 및 목표

• 오염, 시점 변화, 조명 변화 등의 외관 변화로 인해 객체 종류 간 미세한 차이가 가림을 겪는 미세한 시각 인식 도전 과제를 해결한다.
• 표준 이중선형 풀링의 한계를 극복하며, 특징 간 공간적 관계를 버리고 공간적 맥락을 모델링하지 못함을 해결한다.
• 특징 추출 중에 주목할 만한 객체 부분에 동적으로 집중할 수 있도록 공간적으로 인지하는 어텐션을 통해 특징 표현을 향상시킨다.
• 인간의 시각 주의 메커니즘을 모방하여 종단 간에 관련 영역에 주의를 기울이는 딥 러닝 프레임워크를 개발한다.
• 이중선형 특징 풀링과 공간 순환성 및 어텐션 메커니즘의 융합을 통해 미세한 인식 작업 성능을 향상시킨다.

제안 방법

• 더 나은 분류 성능을 위해 동일한 이미지에서 두 개의 스트림 컨볼루션 신경망(CNN)을 사용하여 특징을 추출한다.
• 두 CNN 스트림의 특징 맵을 외적곱으로 계산하여 이중선형 풀링을 적용함으로써 고차원 특징 상호작용을 캡처한다.
• 지역적 영역 간의 공간적 의존성을 모델링하기 위해 공간 LSTMs를 통합하여 특징 맵의 순환 처리를 가능하게 한다.
• 유연한 어텐션 메커니즘을 공간 LSTMs 내부에 통합하여 관련성이 높은 특징 영역에 대해 동적으로 가중치를 적용함으로써 분류에 기여하는 부분에 집중한다.
• 주의 맵을 시각화하기 위해 확률적 역전파를 사용하여 추론 중 모델이 '어디'와 '무엇'에 주목하는지 해석한다.
• 전체 아키텍처를 종단 간에 훈련하여 부분 탐지, 특징 추출 및 어텐션 가중치 최적화를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 미세한 시각 인식에서 딥 신경망은 어떻게 동적으로 선택적으로 가장 분류에 기여하는 객체 부분에 주목할 수 있는가?
• RQ2 공간 순환 LSTMs는 이중선형 특징의 공간적 관계를 어떻게 향상시켜 표현 학습을 개선할 수 있는가?
• RQ3 소프트 어텐션을 이중선형 풀링과 융합하면 미세한 분류 및 인물 재식별 작업 성능이 향상되는가?
• RQ4 모델의 어텐션 메커니즘이 핵심 객체 부분에 집중하는 데 있어 인간의 시각 직관과 얼마나 일치하는가?
• RQ5 제안된 방법은 고정된 공간 분할 또는 수작업으로 설계된 부분 탐지기에 의존하는 기존 최신 기술 모델을 초월할 수 있는가?

주요 결과

• 스탠퍼드 카스 데이터셋에서 제안된 모델은 상위 1 정확도 93.4%를 달성하여 기존 방법들인 Krause 등(92.6%) 및 Gosselin 등(82.7%)을 능가한다.
• CUB-200-2011 데이터셋에서 모델은 미세한 이미지 분류에서 최신 기술 수준의 성능을 달성하며, 뛰어난 특징 국소화 및 분류 능력을 보여준다.
• 인물 재식별 작업에서 모델은 VIPeR, CUHK03, Market-1501 벤치마크에서 여러 최신 기술 접근법보다 높은 랭크-1 정확도를 기록한다.
• 주의 맵의 시각화 결과는 모델이 머리, 날개, 몸통 등 의미적으로 유의미한 영역에 주목하고 있음을 확인하며 인간의 직관과 일치함을 보여준다.
• 수동으로 부분을 분할하는 다중 영역 이중선형 모델보다 모델이 상당히 뛰어난 성능을 보이며 종단 간에 학습된 어텐션의 이점을 입증한다.
• 공간 순환성과 어텐션의 융합은 국소적 왜곡과 공간 변형에 대해 강건성을 확보하여 도전적인 시각 인식 작업에서 일반화 능력을 향상시킨다.