[논문 리뷰] The Application of Two-level Attention Models in Deep Convolutional Neural Network for Fine-grained Image Classification

Tianjun Xiao, Yichong Xu외 4명|arXiv (Cornell University)|2014. 11. 24.

Advanced Neural Network Applications참고 문헌 14인용 수 12

한 줄 요약

이 논문은 깊은 합성곱 신경망에서 이미지 수준의 레이블만을 사용하여 개체 수준 및 부위 수준의 주의를 암묵적으로 학습하는 이중 수준 주의 메커니즘을 제안한다. 도메인 관련 패치를 선택하기 위한 FilterNet을 훈련하고, 특징 맵으로부터 부위 감지 필터를 식별함으로써, 가장 약한 감독 하에서 CUB200-2011에서 최고 성능(69.7%)을 달성하며, 경계 상자나 부위 애너테이션을 요구하는 방법들을 능가한다.

ABSTRACT

Fine-grained classification is challenging because categories can only be discriminated by subtle and local differences. Variances in the pose, scale or rotation usually make the problem more difficult. Most fine-grained classification systems follow the pipeline of finding foreground object or object parts (where) to extract discriminative features (what). In this paper, we propose to apply visual attention to fine-grained classification task using deep neural network. Our pipeline integrates three types of attention: the bottom-up attention that propose candidate patches, the object-level top-down attention that selects relevant patches to a certain object, and the part-level top-down attention that localizes discriminative parts. We combine these attentions to train domain-specific deep nets, then use it to improve both the what and where aspects. Importantly, we avoid using expensive annotations like bounding box or part information from end-to-end. The weak supervision constraint makes our work easier to generalize. We have verified the effectiveness of the method on the subsets of ILSVRC2012 dataset and CUB200_2011 dataset. Our pipeline delivered significant improvements and achieved the best accuracy under the weakest supervision condition. The performance is competitive against other methods that rely on additional annotations.

연구 동기 및 목표

• 세밀한 이미지 분류의 과제를 해결하기 위해, 분류에 기여하는 특징들이 작은, 미세한 부분에 국한되어 있으며, 자세나 척도의 변형으로 인해 인식이 복잡해지는 문제를 다룬다.
• 강한 애너테이션에 의존하지 않고도 '어디서' (관련 영역의 국소화) 와 '무엇을' (분류에 기여하는 특징 추출) 둘 다 향상시키는 딥 러닝 파이프라인을 개발한다.
• 이미지 수준의 레이블만을 사용하는 가장 약한 감독 설정 하에서 높은 성능을 달성하기 위해, 신경망 내부 표현을 주의 메커니즘에 활용한다.
• 훈련 또는 추론 중에 경계 상자나 부위 랜드마크가 필요 없도록 엔드 투 엔드 훈련을 가능하게 한다.

제안 방법

• 하나의 영역 제안 방법이 수천 개의 후보 이미지 패치를 생성하며, 이는 이미지 수준의 레이블만으로 훈련된 도메인 전용 FilterNet에 의해 필터링된다.
• FilterNet은 기본 레벨의 카테고리(예: '새' 또는 '개')와 관련된 패치를 선택함으로써 개체 수준의 상향식 주의를 수행하여 척도 및 자세 변화에 대한 강건성을 향상시킨다.
• CNN의 은닉층에서 분류에 기여하는 국소 패턴에 민감도가 높은 필터를 식별함으로써 부위 수준의 주의를 적용하며, 부위 애너테이션 없이도 핵심 부위를 효과적으로 국소화한다.
• FilterNet 기반 패치와 부위 기반 분류기의 출력에서 유도된 다중 시각 예측을 후기 융합하여 두 주의 수준의 이점을 통합한다.
• 전체 파이프라인은 경계 상자나 부위 랜드마크 애너테이션 없이 이미지 수준의 감독만을 사용하여 엔드 투 엔드로 훈련된다.
• 은닉층에서의 특징 클러스터링을 활용하여 분류에 기여하는 필터를 탐지함으로써, 약한 감독 하의 부위 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 경계 상자나 부위 애너테이션 없이도 개체 수준과 부위 수준의 이중 수준 주의 메커니즘이 세밀한 분류 정확도를 향상시킬 수 있는가?
• RQ2 이미지 수준의 레이블만을 사용하는 약한 감독이 세밀한 인식을 위한 의미 있는 주의 메커니즘을 학습하는 데 얼마나 효과적인가?
• RQ3 내부 CNN 특징 표현을 활용하여 명시적 부위 감독 없이도 분류에 기여하는 부위를 암묵적으로 탐지할 수 있는가?
• RQ4 FilterNet과 부위 기반 분류기에서 유도된 다중 시각 예측의 후기 융합이 단일 스트림 모델에 비해 성능 향상에 얼마나 기여하는가?

주요 결과

• CUB200-2011 데이터셋에서, 이 방법은 69.7%의 상위-1 정확도를 달성하였으며, 더 강한 감독을 사용하는 방법들과 경쟁 가능했고, 가장 약한 감독 설정에서 최고의 성능을 기록했다.
• ILSVRC2012의 새와 개 서브셋에서, 약한 감독 하에서 정확도가 각각 21.1%에서 11.0%, 40.1%에서 28.1%로 향상되었다.
• VGGNet를 사용할 경우, CUB200-2011에서 거의 78%의 정확도를 달성하여 더 깊은 아키텍처와의 확장성도 입증했다.
• 내부 CNN 표현에서 관찰된 클러스터링 패tern은 분류에 기여하는 부위에 민감한 필터를 신뢰성 있게 식별할 수 있었으며, 약한 감독 하의 부위 탐지에 대한 지원을 제공했다.
• 이중 수준 주의 메커니즘은 상호 보완적으로 작용한다: 개체 수준 주의는 다중 척도, 다중 시각 패치를 제공하고, 부위 수준 주의는 국소화 정확도와 자세 불변성을 향상시킨다.