[논문 리뷰] Feature Boosting, Suppression, and Diversification for Fine-Grained Visual Classification

Jianwei Song, Ruoyu Yang|arXiv (Cornell University)|2021. 03. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 경량이며 종단간(end-to-end) 프레임워크를 제안하여 명시적인 부분 탐색과 상호작용을 통해 특징 학습을 향상시킨다. 특징 강화 및 억제 모듈(FBSM)을 도입하여 순차적으로 눈에 띄는 영역을 강조하고 억제함으로써 다수의 분류 가능한 부분에 주의를 기울이도록 유도하고, 특징 다양화 모듈(FDM)을 통해 다른 부분들로부터 보완적인 정보를 통합하여 각 부분별 표현을 풍부하게 하여, 바운딩 박스나 부분 레이블 없이도 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Learning feature representation from discriminative local regions plays a key role in fine-grained visual classification. Employing attention mechanisms to extract part features has become a trend. However, there are two major limitations in these methods: First, they often focus on the most salient part while neglecting other inconspicuous but distinguishable parts. Second, they treat different part features in isolation while neglecting their relationships. To handle these limitations, we propose to locate multiple different distinguishable parts and explore their relationships in an explicit way. In this pursuit, we introduce two lightweight modules that can be easily plugged into existing convolutional neural networks. On one hand, we introduce a feature boosting and suppression module that boosts the most salient part of feature maps to obtain a part-specific representation and suppresses it to force the following network to mine other potential parts. On the other hand, we introduce a feature diversification module that learns semantically complementary information from the correlated part-specific representations. Our method does not need bounding boxes/part annotations and can be trained end-to-end. Extensive experimental results show that our method achieves state-of-the-art performances on several benchmark fine-grained datasets. Source code is available at https://github.com/chaomaer/FBSD.

연구 동기 및 목표

• 주의 기반 방법이 가장 눈에 띄는 부분에 과도하게 집중하면서도 미세하지만 구분 가능한 부분을 간과하는 한계를 해결하기 위해.
• 부분 특징의 고립을 해결하기 위해 그들 간의 의미적 관계를 명시적으로 모델링하기 위해.
• 바운딩 박스나 부분 수준의 레이블이 필요 없는 경량이며 종단간 훈련 가능한 프레임워크를 개발하기 위해.
• 명시적인 강화, 억제 및 다양화 메커니즘을 통해 특징 표현의 다양성과 분류 능력을 향상시키기 위해.

제안 방법

• 특징 강화 및 억제 모듈(FBSM)은 특징 맵에서 가장 눈에 띄는 영역을 강화하여 부분별 표현을 생성하고, 이후 이를 억제함으로써 후속 레이어가 다른 잠재적 부분을 탐지하도록 유도한다.
• FBSM는 ResNet 등의 CNN의 여러 단계에 삽입되어 다양한 레이어에서 서로 다른 부분별 특징을 생성한다.
• 특징 다양화 모듈(FDM)은 다른 부분들로부터 의미적으로 보완적인 특징을 집계하여 각 부분별 표현을 풍부하게 하여 분류 능력을 향상시킨다.
• FDM는 추가적인 학습 가능한 파라미터 없이도 크로스-파트 집계를 통해 특징의 풍부함을 증가시킨다.
• 프레임워크는 오직 이미지 수준의 감독만을 사용하여 종단간 훈련되며, 복잡한 데이터 샘플링 또는 다중 코프 전략을 피한다.
• 이 방법은 플러그 앤 플레이 형식이며, ResNet과 같은 기존의 CNN과 호환되며 아키텍처 재설계가 필요하지 않다.

Figure 1: Illustration of large intra-class and small inter-class variations in FGVC. The images with large variations in each row belong to the same class. However, the images with small variations in each column belong to different classes. This situation is opposite to generic visual classificati

실험 결과

연구 질문

• RQ1 중간 레이어에서 눈에 띄는 특징을 명시적으로 강화하고 억제함으로써, 네트워크가 세부 시각 이미지에서 다수의 분류 가능한 부분을 효과적으로 탐지할 수 있는가?
• RQ2 추가 파rameter 없이도 특징 다양화를 통해 상호 부분 관계를 모델링하면 분류 정확도가 어떻게 향상되는가?
• RQ3 경량이며 종단간 훈련 가능한 모듈이 표준 세부 시각 벤치마크에서 기존의 약한 감독 방법을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 부분 레이블이나 바운딩 박스가 없이도 성능에 영향을 주지 않으며, 여전히 최고 성능을 달성할 수 있는가?

주요 결과

• 백본으로 ResNet50를 사용할 때, CUB-200-2011에서 89.3%의 상위-1 정확도를 달성하여 API-Net과 Cross-X를 포함한 이전 SOTA 방법들을 초월한다.
• FGVC-Aircraft에서 92.7%의 정확도를 기록하여 MAMC, NTS, MEG-CNN, DTB-Net, CIN, FDL을 뛰어넘고 DCL과 LIO에 가까운 성능을 보였다.
• Stanford Cars에서는 94.4%의 정확도를 달성하여 FDL을 크게 능가하며 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보였다.
• Stanford Dogs에서는 88.2%의 정확도를 기록하여 RA-CNN, MAMC, FDL을 능가했으며, 높은 계산 복잡성에도 불구하고 확장성이 있음을 입증했다.
• 절단 실험 결과, FBSM는 다양한 데이터셋에서 +3.4%에서 +6.4%까지 정확도 향상을 기여했고, FDM은 파라미터 증가 없이도 +0.4%에서 +0.7%의 정확도 향상을 기록했다.
• 시각화 결과는 FBSM가 가장 눈에 띄는 부분(예: 새의 꼬리)에서 주의를 다른 부분(예: 머리, 꼬리)으로 효과적으로 이동시키며, FDM이 특징 맵을 다수의 관련 영역을 커버하도록 향상시킨다는 것을 확인했다.

Figure 2: The overview of our method.