[논문 리뷰] Real Time Fine-Grained Categorization with Accuracy and Interpretability

Shaoli Huang, Dacheng Tao|arXiv (Cornell University)|2016. 10. 04.

Advanced Neural Network Applications참고 문헌 36인용 수 3

한 줄 요약

이 논문은 두 개의 스트림을 갖춘 양면 컨볼루션 네트워크를 통해 개체의 부분을 동시에 국소화하고 하位 카테고리로 분류함으로써 실시간, 정확하고 해석 가능한 미세 분류 시스템인 Deeper Part-Stacked CNN(DPS-CNN)을 제안한다. 이 방법은 CUB-200-2011 데이터셋에서 32 프레임당 1초의 추론 속도를 기록하며, 부분별 비교 기준을 바탕으로 인간이 이해할 수 있는 설명 매뉴얼을 생성한다.

ABSTRACT

A well-designed fine-grained categorization system usually has three contradictory requirements: accuracy (the ability to identify objects among subordinate categories); interpretability (the ability to provide human-understandable explanation of recognition system behavior); and efficiency (the speed of the system). To handle the trade-off between accuracy and interpretability, we propose a novel "Deeper Part-Stacked CNN" architecture armed with interpretability by modeling subtle differences between object parts. The proposed architecture consists of a part localization network, a two-stream classification network that simultaneously encodes object-level and part-level cues, and a feature vectors fusion component. Specifically, the part localization network is implemented by exploring a new paradigm for key point localization that first samples a small number of representable pixels and then determine their labels via a convolutional layer followed by a softmax layer. We also use a cropping layer to extract part features and propose a scale mean-max layer for feature fusion learning. Experimentally, our proposed method outperform state-of-the-art approaches both in part localization task and classification task on Caltech-UCSD Birds-200-2011. Moreover, by adopting a set of sharing strategies between the computation of multiple object parts, our single model is fairly efficient running at 32 frames/sec.

연구 동기 및 목표

• 미세 분류 시각 인식(FGVC)에서 정확도, 해석 가능성, 효율성 간의 충돌하는 요구사항을 해결하기 위해.
• 미세한 차이를 보이는 개체 부분을 모델링함으로써 분류 성능을 향상시키기 위한 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 부분 수준 비교 기준을 사용하여 분류 결정을 설명하는 인간이 이해할 수 있는 설명 매뉴얼을 생성하기 위해.
• 기준 데이터셋에서 최고 성능을 유지하면서도 높은 추론 속도(32 FPS)를 달성하기 위해.

제안 방법

• 키 포인트 국소화를 위해 완전 컨volution 네트워크를 사용하며, 대표적인 픽셀을 샘플링하고 1x1 컨볼루션 레이어 및 소프트맥스를 통해 레이블을 예측한다.
• 새로운 부분 컷 레이어는 검출된 부분 위치에서 국소적 특징을 추출하여 부분 전용 특징 학습을 가능하게 한다.
• 두 개의 스트림 분류 네트워크는 전역(객체 수준) 및 국소(부분 수준) 특징을 병렬로 처리하여 분류의 정밀도를 향상시킨다.
• 스케일 평균-최댓값 풀링 레이어는 부분 스트림과 객체 스트림의 특징을 융합하여 최종적으로 강력한 표현을 생성한다.
• 특징 벡터 융합 컴포넌트는 학습된 가중치를 사용하여 부분 스트림과 객체 스트림의 특징을 융합하여 분류 성능을 향상시킨다.
• 해석은 예측 점수의 차이를 기반으로 한 '한 명 대 다수' 및 '한 명 대 한 명' 비교를 통해 생성된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 미세 분류 시각 인식에서 동시에 높은 정확도, 실시간 추론, 인간이 이해할 수 있는 분류 결정을 달성할 수 있는가?
• RQ2 유사한 하위 카테고리 간의 분류 성능 향상을 위해 부분 수준의 감독 신호를 통합된 CNN 아키텍처에 효과적으로 통합할 수 있는가?
• RQ3 각 부분에 별도의 네트워크 없이도 단일 모델이 여러 개체 부분을 효율적으로 처리하면서도 속도와 정확도를 유지할 수 있는가?
• RQ4 부분 기반 비교를 통해 유추된 직관적인, 인간이 읽을 수 있는 매뉴얼이 미세 분류 카테고리 간의 구분에 얼마나 효과적인가?

주요 결과

• DPS-CNN 모델은 CUB-200-2011 데이터셋에서 부분 국소화 및 미세 분류 작업 모두에서 최고 성능을 기록한다.
• 이 방법은 깊은 아키텍처를 가짐에도 불구하고 32 프레임당 1초의 빠른 추론 속도를 기록하여 뛰어난 실시간 추론 효율성을 입증한다.
• 모델은 부분별 비교 기준을 사용하여 유사한 카테고리 간의 분류적 특징을 강조하는 시각적 가이드 스타일의 설명 매뉴얼을 생성한다.
• '한 명 대 한 명' 해석 방법은 예측된 클래스와 가장 유사한 하위 카테고리 간의 구분에 가장 분류력 있는 부분을 성공적으로 식별한다.
• 크롭핑 레이어를 통해 부분 간 공유된 특징 추출을 구현함으로써 계산 비용을 감소시키면서도 높은 정확도를 유지한다.