[논문 리뷰] Semantic Bilinear Pooling for Fine-Grained Recognition

Xinjie Li, Chun Yang외 3명|arXiv (Cornell University)|2019. 04. 03.

Advanced Neural Network Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 세분화된 인식을 위한 계층적 레이블 구조와 이원적 풀링을 통합한 두 가지 분지로 구성된 딥러닝 프레임워크인 의미적 이원 풀링(Semantic Bilinear Pooling, SBP)을 제안한다. 일반화된 교차 엔트로피 손실을 사용한 군집에서 세분화된 학습 전략을 통해 특징의 분류 능력을 향상시키며, 추론 오버헤드 없이 네 가지 벤치마크 데이터셋에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Naturally, fine-grained recognition, e.g., vehicle identification or bird classification, has specific hierarchical labels, where fine categories are always harder to be classified than coarse categories. However, most of the recent deep learning based methods neglect the semantic structure of fine-grained objects and do not take advantage of the traditional fine-grained recognition techniques (e.g. coarse-to-fine classification). In this paper, we propose a novel framework with a two-branch network (coarse branch and fine branch), i.e., semantic bilinear pooling, for fine-grained recognition with a hierarchical label tree. This framework can adaptively learn the semantic information from the hierarchical levels. Specifically, we design a generalized cross-entropy loss for the training of the proposed framework to fully exploit the semantic priors via considering the relevance between adjacent levels and enlarge the distance between samples of different coarse classes. Furthermore, our method leverages only the fine branch when testing so that it adds no overhead to the testing time. Experimental results show that our proposed method achieves state-of-the-art performance on four public datasets.

연구 동기 및 목표

• 미세한 클래스 간 차이와 클래스 내 변동성이 존재하는 세분화된 인식의 과제를 해결한다.
• 딥러닝 모델에 계층적 의미적 레이블 구조(예: 제조사 및 모델명)를 통합하여 특징 학습을 향상시킨다.
• 학습 중 의미적 사전 지식을 활용하는 두 분지 네트워크(군집 분지 및 세분화 분지)를 개발하며, 추론 시에는 오직 세분화 분지만을 사용하여 효율성을 유지한다.
• 군집 클래스 간의 분류 능력을 향상시키고 레이어 구조를 고려한 학습을 위해 일반화된 교차 엔트로피 손실을 설계한다.
• 모델 복잡성이나 추론 시간을 증가시키지 않으면서도 여러 세분화된 인식 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• 군집 분지(계층적 레이블 감독용)와 최종 분류용 세분화 분지로 구성된 두 분지 컨볼루션 신경망 아키텍처를 제안한다.
• C-Net과 F-Net의 두 개의 별도 스트림에서 나온 특징 맵을 사용해 이원 풀링을 적용하여 고차원 특징 상호작용을 캡처한다.
• 인접한 계층 수준 간의 레이블 관련성을 모델링하고 군집 클래스 간 간격을 증가시키기 위해 일반화된 교차 엔트로피 손실을 도입한다.
• 이원 풀링 이후 부호가 있는 제곱근과 L2 정규화를 적용하여 학습 안정성 향상과 일반화 능력 향상을 도모한다.
• 추론 시에는 오직 세분화 분지만 유지하여 표준 모델과 비교해 추가적인 계산 비용이 발생하지 않도록 한다.
• 학습 과정에 계층적 레이블 트리(예: 제조사 → 모델)를 통합하여 의미적 사전 지식을 활용해 특징 학습을 이끌어낸다.

실험 결과

연구 질문

• RQ1 계층적 레이블 구조를 딥러닝 모델에 효과적으로 통합하여 세분화된 인식 성능을 향상시킬 수 있는가?
• RQ2 두 분지 네트워크를 통한 군집에서 세분화된 감독이 특징의 분류 능력과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 레이어 구조를 모델링하는 일반화된 교차 엔트로피 손실이 표준 교차 엔트로피에 비해 성능 향상에 얼마나 기여하는가?
• RQ4 이원 풀링을 의미적 사전 지식과 효과적으로 조합할 수 있는가? 이는 추론 시간이나 모델 복잡성 증가 없이 가능한가?
• RQ5 제안된 방법이 표준 세분화된 인식 벤치마크에서 기존 최신 기준 기술보다 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 방법은 CompCars에서 97.8%, Stanford Cars에서 94.3%, CUB-200-2011에서 88.9%, FG-WILDBERG에서 91.7%의 정확도를 달성하며, 이는 모든 이전 방법을 초월하는 성능이다.
• 이원 풀링에서 차원 축소를 위해 iSQRT-COV를 사용할 경우 최고의 성능을 기록했으며, CompCars에서 97.0%, Aircrafts에서 91.1%의 정확도를 달성했다.
• 일반화된 교차 엔트로피 손실이 두 분지 아키텍처 자체보다 더 크게 성능 향상에 기여했으며, 특히 군집 클래스 간 혼동을 줄이는 데 기여했다.
• 테스트 시 오직 세분화 분지만을 사용함으로써 추론 효율성을 유지하여 기준 모델과 비교해 추가 계산 오버헤드가 발생하지 않았다.
• 두 수준의 계층만을 사용하는 것에도 불구하고, 네 수준의 계층과 추가 컨볼루션 레이어를 사용하는 HSE [8]에 비해 Stanford Cars에서 0.7% 높은 성능을 기록했다.
• 시각화 결과, CBP [19]에 비해 주의 맵이 더 견고하고 분류에 기여하는 부분에 집중되어 있음을 확인했으며, 자세나 배경 변화 상황에서도 유사한 경향을 보였다.