[논문 리뷰] Attention for Fine-Grained Categorization

Pierre Sermanet, Andrea Frome외 1명|arXiv (Cornell University)|2014. 12. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 119

한 줄 요약

이 논문은 박스 감독 없이도 특징적인 영역(예: 얼굴, 털 무늬)에 초점을 맞출 수 있도록 시각적 주의를 갖춘 엔드 투 엔드 학습 가능한 순환 신경망을 제안한다. 스탠포드 도그 데이터셋에서 76.8%의 평균 정확도를 달성하여 상태 기준 모델인 GoogLeNet을 능가한다.

ABSTRACT

This paper presents experiments extending the work of Ba et al. (2014) on recurrent neural models for attention into less constrained visual environments, specifically fine-grained categorization on the Stanford Dogs data set. In this work we use an RNN of the same structure but substitute a more powerful visual network and perform large-scale pre-training of the visual network outside of the attention RNN. Most work in attention models to date focuses on tasks with toy or more constrained visual environments, whereas we present results for fine-grained categorization better than the state-of-the-art GoogLeNet classification model. We show that our model learns to direct high resolution attention to the most discriminative regions without any spatial supervision such as bounding boxes, and it is able to discriminate fine-grained dog breeds moderately well even when given only an initial low-resolution context image and narrow, inexpensive glimpses at faces and fur patterns. This and similar attention models have the major advantage of being trained end-to-end, as opposed to other current detection and recognition pipelines with hand-engineered components where information is lost. While our model is state-of-the-art, further work is needed to fully leverage the sequential input.

연구 동기 및 목표

• 비교적 복잡하고 제약이 없는 시각 환경(예: 미세 분류)에 순환 신경망 기반 주의 모델을 확장하는 것.
• 혼잡한 배경, 가림, 자세 변화 등으로 인해 유사한 외형을 가진 강아지 품종을 분류하는 과제를 해결하는 것.
• 수동으로 레이블링된 경계 상자에 의존하지 않고, 단일 통합 아키텍처를 통해 엔드 투 엔드로 공간 주의를 학습하는 것.
• 주의 메커니즘이 전통적 모델(예: GoogLeNet)을 능가하는 성능을 달성하면서도 계산 효율성을 유지할 수 있는지 평가하는 것.
• 명시적인 공간 감독 없이도 순차적인 구경(glimpse)을 통해 의미 있고 분류에 유의미한 시각적 특징을 학습할 수 있는지 조사하는 것.

제안 방법

• Ba 등(2014)의 논문과 유사한 순환 신경망(RNN) 아키텍처를 채택하여, RNN이 입력 이미지로 향하는 일련의 구경을 생성한다.
• 각 구경에서 특징을 추출하기 위해 강력하고 대규모 사전 훈련된 컨볼루션 신경망(시각 코어)을 사용하며, RNN과 분리되어 특징 학습을 향상시킨다.
• 다음 고해상도 이미지 조각의 위치(x, y)와 크기를 예측하는 구경 선택 메커니즘을 도입하며, 이를 회귀 방식의 출력으로 구현한다.
• 백프로파게이션을 사용해 전체 시스템을 엔드 투 엔드로 훈련하여, 특징 추출과 주의 조율을 함께 학습할 수 있도록 한다.
• 정확도 향상과 일반화 능력 향상을 위해 훈련 중에 데이터 증강(거꾸로 뒤집기, 밝기 조절, 색상 왜곡)을 적용한다.
• 120종의 강아지 품종에 대한 N-way 분류 점수를 산출하기 위해 최종 RNN 단계에서 소프트맥스 분류기를 사용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습 가능한 주의 메커니즘이 GoogLeNet과 같은 비주목 기반 최신 기술 모델보다 미세 분류에서 성능을 뛰어넘을 수 있는가?
• RQ2 경계 상자나 공간 감독 없이도 모델이 특징적인 부분(예: 얼굴, 털 무늬)에 주의를 기울이는가?
• RQ3 구경의 수와 해상도가 성능에 미치는 영향은 어떠하며, 다수의 순차적 구경을 통해 성능 향상이 이루어지는가?
• RQ4 낮은 해상도의 전체 이미지와 몇 개의 고해상도 구경만으로도 높은 정확도를 달성할 수 있는가?
• RQ5 현재 RNN 기반 주의 메커니즘이 구경 간의 장거리 의존성을 포착하는 데에 가지는 한계는 무엇인가?

주요 결과

• 제안된 주의 모델은 스탠포드 도그 데이터셋에서 세 개의 구경을 사용할 때 76.8%의 평균 정확도를 달성하여, 전체 GoogLeNet 모델의 75.5%를 초월한다.
• 단 한 개의 구경과 저해상도 입력(96×96) 조건에서도 70.3%의 정확도를 기록하며, 저해상도 GoogLeNet 기준선(58.8%)을 크게 뛰어넘는다.
• 공간 감독이나 경계 상자 레이블 없이도 모델이 얼굴과 털 무늬와 같은 특징적인 영역에 주의를 기울이는 것을 학습한다.
• 구경의 수를 늘릴수록 성능 향상 폭이 급격히 줄어들며, 한 개에서 세 개의 구경으로 늘어나도 정확도가 0.5% 뿐 향상된다. 이는 두세 개 이외의 구경을 효과적으로 활용하지 못할 가능성을 시사한다.
• 고해상도만 사용하는 구경 모델은 세 개의 구경을 사용할 때 정확도가 49.6%에 불과하여, 각 구경을 고해상도로 제한할 경우 정보 수확량이 제한됨을 보여주며, 다중 해상도 구경이 더 높은 성능을 낸다.
• 모델은 이미지에 두 마리의 강아지가 있을 경우 중앙부 근처에 이상하게 주의를 기울이는 경향을 보이며, 이는 구경 메커니즘의 회귀 방식 좌표 예측 방식 때문일 가능성이 높다.