[논문 리뷰] Learning Granularity-Aware Convolutional Neural Network for Fine-Grained Visual Classification

Jianwei Song, Ruoyu Yang|arXiv (Cornell University)|2021. 03. 04.

Advanced Neural Network Applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 CUB-200-2011, FGVC-Aircraft, 그리고 Stanford Cars에서 최신 기준 성능을 달성하는 약한 지도 학습 방법인 다중 해상도 인식 컨볼루션 신경망(GA-CNN)을 제안한다. GA-CNN는 CNN 기반 모델의 여러 단계에서 얻은 특징 맵을 활용하여 다중 해상도 특징을 학습하며, 단계별 분류기와 객체 주의 모듈을 통해 점진적으로 분류 가능한 부분의 위치를 정밀화한다. 이로 인해 바운딩 박스나 부분 레이블이 필요 없이도 높은 정확도를 달성한다.

ABSTRACT

Locating discriminative parts plays a key role in fine-grained visual classification due to the high similarities between different objects. Recent works based on convolutional neural networks utilize the feature maps taken from the last convolutional layer to mine discriminative regions. However, the last convolutional layer tends to focus on the whole object due to the large receptive field, which leads to a reduced ability to spot the differences. To address this issue, we propose a novel Granularity-Aware Convolutional Neural Network (GA-CNN) that progressively explores discriminative features. Specifically, GA-CNN utilizes the differences of the receptive fields at different layers to learn multi-granularity features, and it exploits larger granularity information based on the smaller granularity information found at the previous stages. To further boost the performance, we introduce an object-attentive module that can effectively localize the object given a raw image. GA-CNN does not need bounding boxes/part annotations and can be trained end-to-end. Extensive experimental results show that our approach achieves state-of-the-art performances on three benchmark datasets.

연구 동기 및 목표

• 큰 수용 영역으로 인해 기존의 CNN 모델이 분류 가능한 부분을 정확히 국소화하지 못하는 미세 분류 카테고리에서의 미세한 시각적 차이를 구분하는 문제를 해결한다.
• 최종 컨볼루션 레이어에 의존하는 한계를 극복하기 위해, 초기 레이어의 더 작은 수용 영역을 활용하여 부분 수준의 세부 정보를 포착한다.
• 바운딩 박스나 부분 수준의 레이블이 필요 없는 약한 지도 학습 방법을 개발하여 엔드 투 엔드 학습을 가능하게 한다.
• 다양한 네트워크 단계에서 유도된 다중 해상도 특징을 점진적으로 통합함으로써 특징 표현을 향상시키고, 분류 능력을 강화한다.
• 원본 이미지에서 주의 맵을 생성하여 객체 영역을 추정하는 객체 주의 모듈을 도입함으로써 성능을 추가로 향상시킨다.

제안 방법

• ResNet-50 기반 모델의 여러 단계(L−S+1부터 L까지)에서 추출한 특징 맵을 활용하여 다중 해상도 특징을 학습한다. 특징 맵의 수용 영역 크기는 초기 레이어에서 후기 레이어로 갈수록 점차 증가한다.
• 각 단계의 특징 맵에 1×1 및 3×3 컨볼루션 블록을 적용한 후, 글로벌 상위-k 풀링(GTKP)을 수행하여 압축되고 분류 가능한 표현을 추출한다.
• 각 단계의 풀링된 특징에 대해 별도의 분류기를 학습하며, 교차 엔트로피 손실을 사용함으로써 거칠은 해상도에서 더 정밀한 해상도로 점진적인 분류 가능한 부분 학습을 가능하게 한다.
• 원본 이미지에서 객체의 바운딩 박스를 추정하는 데 사용되는 주의 맵을 생성하는 객체 주의 모듈을 통합함으로써 국소화 정확도와 특징 품질을 향상시킨다.
• 모든 단계별 분류기의 예측 결과를 가중 평균(α=0.3)을 통해 융합하여 거친 해상도와 정밀한 해상도의 예측을 통합하여 최종 분류를 수행한다.
• SGD를 사용하여 전체 네트워크를 엔드 투 엔드로 최적화하며, 학습률 스케줄링에 코사인 분해를 적용하고, 가중치 감소를 적용한다. 기반 모델과 새로 추가된 레이어에 대해 서로 다른 초기 학습률을 설정한다.

실험 결과

연구 질문

• RQ1 다양한 네트워크 단계에서 유도된 다중 해상도 특징 학습이 최종 컨볼루션 레이어에 의존하는 것보다 미세 분류 성능을 향상시킬 수 있는가?
• RQ2 바운딩 박스 레이블 없이도 객체 주의 모듈이 객체 영역을 얼마나 효과적으로 국소화할 수 있는가?
• RQ3 거친 해상도에서 정밀한 해상도로의 특징 정밀화가 분류 가능한 표현 학습을 향상시키는가?
• RQ4 약한 지도 학습 기반의 미세 분류 성능에 있어 풀링 방식(GAP, GMP, GTKP)의 선택이 어떤 영향을 미치는가?
• RQ5 다중 해상도 예측 융합에 사용되는 하이퍼파rameter α의 값에 따라 모델 성능이 얼마나 민감한가?

주요 결과

• ResNet-50 기반으로 CUB-200-2011 데이터셋에서 90.4%의 최신 기준 정확도를 달성하였으며, 더 고급 기반 모델을 사용한 이전의 약한 지도 학습 방법들조차도 이를 뛰어넘었다.
• FGVC-Aircraft 데이터셋에서 동일한 ResNet-50 기반 모델을 사용한 다른 방법들 대비 최고의 성능을 기록하여 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 단지 해상도 특화 분류기만을 사용한 기준 모델(88.7%) 대비 객체 주의 모듈(OAM)을 추가함으로써 정확도가 1.7% 향상되어 90.4%로 상승하였다.
• 글로벌 상위-k 풀링(GTKP) 방식이 GAP 및 GMP를 모두 능가하여 90.38%의 정확도를 기록함으로써, 최대 활성화나 평균 활성화에 의존하는 것보다 다수의 분류 가능한 부분을 포착하는 것이 더 효과적임을 시사한다.
• 하이퍼파rameter α에 대한 민감도 분석 결과, α 값이 0.1에서 0.5 범위에서 정확도 변화가 0.7% 이내로 매우 작아, 다양한 융합 가중치 설정에서도 안정적인 성능을 유지함을 확인했다.
• 시각화 결과, 객체 주의 모듈이 객체 영역을 효과적으로 추정하며, 대부분의 경우 예측된 바운딩 박스가 진짜 값과 매우 유사하게 일치함을 확인했다.