[논문 리뷰] Learning a Discriminative Filter Bank within a CNN for Fine-grained Recognition

Yaming Wang, Vlad I. Morariu외 1명|arXiv (Cornell University)|2016. 11. 29.

Advanced Neural Network Applications참고 문헌 37인용 수 9

한 줄 요약

이 논문은 부분 또는 바운딩 박스 애너테이션 없이 클래스별로 특징적인 미세 패치를 검출할 수 있는 분류적 필터 베이스를 학습하는 엔드 투 엔드 CNN 프레임워크를 제안한다. 1×1 컨볼루션 필터를 패치 검출기로 사용하고, 비대칭 다중 스트림 아키텍처, 필터 감독, 군집 기반 비랜덤 초기화를 도입함으로써 중위 수준 표현 학습을 향상시키고, CUB-200-2011, Stanford Cars, FGVC-Aircraft에서 최신 기술 성능을 달성한다.

ABSTRACT

Compared to earlier multistage frameworks using CNN features, recent end-to-end deep approaches for fine-grained recognition essentially enhance the mid-level learning capability of CNNs. Previous approaches achieve this by introducing an auxiliary network to infuse localization information into the main classification network, or a sophisticated feature encoding method to capture higher order feature statistics. We show that mid-level representation learning can be enhanced within the CNN framework, by learning a bank of convolutional filters that capture class-specific discriminative patches without extra part or bounding box annotations. Such a filter bank is well structured, properly initialized and discriminatively learned through a novel asymmetric multi-stream architecture with convolutional filter supervision and a non-random layer initialization. Experimental results show that our approach achieves state-of-the-art on three publicly available fine-grained recognition datasets (CUB-200-2011, Stanford Cars and FGVC-Aircraft). Ablation studies and visualizations are provided to understand our approach.

연구 동기 및 목표

• 미세 분류를 위한 중위 수준 표현 학습에서 CNN의 한계를 해결한다.
• 기존 이중 스트림 네트워크에서 국소화와 분류 간의 상충 관계를 극복하기 위해 공유된 부분 검출기를 피한다.
• 분류적 패치 검출을 위한 바운딩 박스 또는 부분 애너테이션 없이 엔드 투 엔드 학습을 가능하게 한다.
• 구조적이고 클래스별로 특화된 필터 학습을 통해 강성 및 비강성 시각 도메인 간 성능 일관성을 향상시킨다.
• 인간의 인지와 일치하는 학습된 분류적 패치를 시각화함으로써 모델의 해석 가능성을 향상시킨다.

제안 방법

• 각 1×1 컨볼루션 필터를 특징 맵 상에서 분류적 패치 검출기로 간주한다.
• 전반적인 외관 특징과 1×1 필터에서 유도된 패치 수준 반응을 융합하는 비대칭 다중 스트림 아키텍처를 설계한다.
• 역전파를 통해 클래스별 패치에 대해 높은 반응을 보이도록 필터를 훈련시켜 컨볼루션 필터 감독을 적용한다.
• 특징 맵 활성화에서 유도된 군집 중심을 비랜덤 초기화로 사용하여 필터 베이스의 다양성과 분류 능력을 향상시킨다.
• 1×1 필터의 반응에 대해 전역 최대 풀링(GMP)을 수행하여 각 클래스별로 압축되고 분류적 특징을 가진 표현을 생성한다.
• 최종 레이어에서의 역전파를 통해 특징 맵의 에너지 분포를 개선하고, 일반적인 패atters(예: 바퀴, 배경)에서 클래스에 특화된 영역(예: 꼬리등, 부리)으로의 주의를 이동시킨다.

실험 결과

연구 질문

• RQ1 부분 또는 바운딩 박스 애너테이션 없이 CNN이 고품질의 클래스별로 특화된 분류적 패치를 학습할 수 있는가?
• RQ2 비랜덤 초기화와 함께 필터 감독이 미세 분류에서 중위 수준 표현 학습을 향상시키는가?
• RQ3 비대칭 다중 스트림 아키텍처가 전반적인 외관 정보와 국소 패치 수준 정보를 효과적으로 균형 잡아 분류 성능을 향상시키는가?
• RQ4 학습된 필터 베이스는 다양한 시각적 변동성을 가진 다양한 미세 분류 데이터셋에서 성능을 어떻게 향상시키는가?
• RQ5 시각화된 필터가 인간 애너테이션으로 지정된 분류적 영역과 얼마나 일치하는가, 그리고 얼마나 해석 가능한가?

주요 결과

• 제안된 방법은 CUB-200-2011, Stanford Cars, FGVC-Aircraft 세 가지 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.
• 시각화 결과에서 학습된 필터는 새의 날개 무늬, 자동차 꼬리등, 부리 형태와 같은 분류적 영역을 효과적으로 검출하며, 인간의 인지와 유사하게 작동한다.
• 훈련 후 특징 맵의 에너지 분포가 분류적 영역으로 집중되며, 바퀴나 배경과 같은 일반적인 패턴에 대한 활성화가 감소한다.
• 피크 응답이 풀링된 특징에서 관찰되는 바와 같이, 네트워워크는 유사한 클래스들(예: Audi A4 vs. A6) 간의 미세한 차이를 성공적으로 국소화한다.
• 제거 실험을 통해 필터 감독과 비랜덤 초기화가 성능 향상과 필터 다양성 향상에 뚜렷한 기여를 한다는 것이 확인된다.
• 최종 레이어에서의 역전파를 통해 이전 특징 맵이 개선되며, 비분류적 패턴에서 클래스에 특화된 패치로 에너지가 이동함을 보여주며 계층적 향상이 이루어짐을 입증한다.