[논문 리뷰] Fine-grained Recognition: Accounting for Subtle Differences between Similar Classes

Guolei Sun, Hisham Cholakkal외 3명|arXiv (Cornell University)|2019. 12. 14.

Advanced Neural Network Applications참고 문헌 33인용 수 10

한 줄 요약

이 논문은 세부 시각 인식을 위한 새로운 접근법을 제안한다. 비정상적인 특징을 강조하는 다양화 블록과, 가장 혼동스러운 클래스 쌍에 대해 기울기를 선택적으로 증폭하는 그래디언트 부스팅 손실 함수를 도입함으로써, 깊은 네트워크가 객체 간 미세한, 비우세한 특징에 집중하도록 유도한다. 이 방법은 클래스 간 혼동을 명시적으로 모델링하고 과적합을 줄임으로써 다섯 개인 세부 분류 벤치마크 데이터셋에서 더 빠른 수렴과 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

The main requisite for fine-grained recognition task is to focus on subtle discriminative details that make the subordinate classes different from each other. We note that existing methods implicitly address this requirement and leave it to a data-driven pipeline to figure out what makes a subordinate class different from the others. This results in two major limitations: First, the network focuses on the most obvious distinctions between classes and overlooks more subtle inter-class variations. Second, the chance of misclassifying a given sample in any of the negative classes is considered equal, while in fact, confusions generally occur among only the most similar classes. Here, we propose to explicitly force the network to find the subtle differences among closely related classes. In this pursuit, we introduce two key novelties that can be easily plugged into existing end-to-end deep learning pipelines. On one hand, we introduce diversification block which masks the most salient features for an input to force the network to use more subtle cues for its correct classification. Concurrently, we introduce a gradient-boosting loss function that focuses only on the confusing classes for each sample and therefore moves swiftly along the direction on the loss surface that seeks to resolve these ambiguities. The synergy between these two blocks helps the network to learn more effective feature representations. Comprehensive experiments are performed on five challenging datasets. Our approach outperforms existing methods using similar experimental setting on all five datasets.

연구 동기 및 목표

• 세부 시각 분류(FGVC)에서 매우 유사한 객체 종류를 구별하는 데 어려움이 있으며, 여기서 미세한 차이가 중요하지만 자주 간과된다는 문제를 해결하기 위해.
• 기존 딥 러닝 모델이 유일하게 가장 두드러진 분류 특징에 집중함으로써 일반화 능력이 떨어지고 과적합이 발생하는 한계를 극복하기 위해.
• 기능 표현과 예측 신뢰도를 이중 메커니즘으로 명시적으로 정규화하여 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 모든 음성 클래스를 동일하게 다루는 것 대신 가장 혼동스러운 클래스 쌍에 집중함으로써 최적화를 집중함으로써 수렴 속도를 가속화하고 성능을 향상시키기 위해.

제안 방법

• 입력 이미지의 가장 두드러진 특징을 마스킹하는 다각화 블록을 도입하여, 네트워크가 분류에 더 미세하고 분산된 단서에 의존하도록 유도한다.
• 각 샘플의 k개의 가장 혼동스러운 음성 클래스에 대해 기울기를 선택적으로 증폭하는 손실 함수를 설계하며, 모든 음성 클래스를 동일하게 다루는 것과는 다르다.
• 손실 함수는 기울기 부스팅 정도를 제어하기 위해 억제 요소 α를 사용하며, 더 작은 α 값일수록 더 좋은 성능을 낸다.
• 다양화 블록과 그래디언트 부스팅 손실 함수는 표준 엔드 투 엔드 딥 러닝 파이프라인과 호환되며 기존 모델에 쉽게 통합할 수 있다.
• 이 방법은 주로 부리, 꼬리, 발과 같은 여러 유의미한 영역에 주의를 분산시키도록 유도하며, 단일 우세한 부분에 집중하는 것을 방지한다.
• 두 구성 요소 간의 상호보완적 작용은 특징의 다양성을 증진시키고, 특히 쉽게 구별되지 않는 클래스에 대해 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 세부 시각 인식에서 깊은 네트워크가 가장 분류 능력이 뛰어난 부분 외에도 미세하고 비우세한 특징에 집중하도록 유도하는 방법은 무엇인가?
• RQ2 모든 음성 클래스를 동등하게 다루는 것 대신 가장 혼동스러운 클래스 쌍에 최적화를 집중시키는 것이 어떤 영향을 미치는가?
• RQ3 어려운 음성 클래스에 대해 기울기를 증폭시키는 손실 함수가 세부 분류에서 수렴 속도와 최종 정확도를 향상시킬 수 있는가?
• RQ4 다양화 블록이 주의를 단일 영역에 집중시키는 것을 방지함으로써 과적합을 얼마나 줄일 수 있는가?
• RQ5 제안된 방법이 세부 분류 데이터셋을 넘어서 ImageNet과 같은 표준 이미지 분류 벤치마크에서도 일반화 가능한가?

주요 결과

• CUB-200-2011 데이터셋에서 제안된 방법은 기준 CE의 86.3%에서 87.7%로 상위-1 정확도를 향상시켜 절대적 향상 폭 1.4%를 달성한다.
• 그래디언트 부스팅 손실 함수는 중심 손실, LGM 손실, 최대 엔트로피 손실과 같은 다른 최신 기술 손실 함수보다 정확도와 수렴 속도 측면에서 뛰어나다.
• 제거 분석 결과, 억제 요소 α = 0.1일 때가 가장 우수한 성능이며, α = 1.0(다양화 없음)일 경우 성능이 열악해진다.
• 학습 곡선 분석 결과, 제안된 방법은 교차 엔트로피 손실보다 수렴 속도가 빠르며, 훈련 세트에서 과적합을 피하는 경향을 보였다.
• ImageNet에서 그래디언트 부스팅 손실 함수는 표준 교차 엔트로피 대비 더 빠른 수렴과 낮은 오류율을 기록하여, 세부 분류 데이터셋 외부로의 일반화 능력을 확인한다.
• 클래스 활성 맵의 정성적 분석 결과, 다각화 블록이 기준 모델이 단일 우세한 부분에 집중하는 것과는 달리, 여러 유의미한 영역에 주의를 분산시키는 데 성공했다.