[논문 리뷰] Fine-Grained Visual Classification via Progressive Multi-Granularity Training of Jigsaw Patches

Ruoyi Du, Dongliang Chang외 5명|arXiv (Cornell University)|2020. 03. 08.

3D Surveying and Cultural Heritage참고 문헌 38인용 수 22

한 줄 요약

이 논문은 미세 분류 시각 인식을 위한 프로그레시브 멀티그레인룰라리티(Progressive Multi-Granularity, PMG) 훈련 프레임워크를 제안한다. 이는 프로그레시브 훈련 전략과 재구성 퍼즐 패치 생성기를 사용하여 다중 시각적 그레인룰라리티 간의 특징을 학습하고 융합한다. 모델은 더 미세한 패치에서 더 굵은 패치로 점진적으로 훈련함으로써 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 재구성 퍼즐 생성기는 각 단계에서 분류 가능한 특징 학습을 향상시킨다.

ABSTRACT

Fine-grained visual classification (FGVC) is much more challenging than traditional classification tasks due to the inherently subtle intra-class object variations. Recent works mainly tackle this problem by focusing on how to locate the most discriminative parts, more complementary parts, and parts of various granularities. However, less effort has been placed to which granularities are the most discriminative and how to fuse information cross multi-granularity. In this work, we propose a novel framework for fine-grained visual classification to tackle these problems. In particular, we propose: (i) a progressive training strategy that effectively fuses features from different granularities, and (ii) a random jigsaw patch generator that encourages the network to learn features at specific granularities. We obtain state-of-the-art performances on several standard FGVC benchmark datasets, where the proposed method consistently outperforms existing methods or delivers competitive results. The code will be available at https://github.com/PRIS-CV/PMG-Progressive-Multi-Granularity-Training.

연구 동기 및 목표

• 미세 분류 시각 인식(FGVC)의 과제를 다루며, 이는 유사한 클래스 내의 미세한 변화로 인해 하위 카테고리 정확한 인식이 어려운 문제이다.
• 기존 방법들이 분류 가능한 부분을 탐지하는 데 집중하지만, 최적의 그레인룰라리티를 체계적으로 식별하거나 다중 그레인룰라리티 특징을 효과적으로 융합하지 못하는 한계를 극복한다.
• 부분 애너테이션을 필요로 하지 않고, 여러 그레인룰라리티 간의 보완적인 특징을 학습할 수 있는 약한 지도 학습 프레임워크를 개발한다.
• 프로그레시브 훈련과 재구성 퍼즐 패치 생성기가 FGVC에서 특징 학습과 모델 일반화 능력을 어떻게 상호 보완적으로 향상시킬 수 있는지 탐구한다.

제안 방법

• 초기 단계에서 미세한 패치부터 시작하여 점차 더 굵은 패치로 이르는 점진적 훈련 전략을 제안하며, 이는 이전 단계의 가중치를 다음 단계의 초기화에 활용한다.
• 입력 이미지를 균일하게 나누어진 패치로 나누고, 무작위로 재배열하여 다양한 그레인룰라리티 수준의 새로운 이미지를 생성하는 재구성 퍼즐 생성기를 도입한다. 이는 각 척도에서 분류 가능한 특징 학습을 장려한다.
• 각 훈련 단계에서 중간 지도를 사용하며, 모델이 재구성된 퍼즐 이미지를 분류하도록 훈련시켜, 다양한 그레인룰라리티에서 분류 가능한 국소 영역에 주의를 기울이도록 한다.
• 모든 단계의 특징을 추론 시에만 연결하여 다중 그레인룰라리티 표현의 보완적 융합을 가능하게 한다.
• 모든 네트워크를 이미지 수준의 카테고리 레이블만으로 엔드 투 엔드로 훈련하여, 부분 애너테이션이나 복잡한 후처리를 피한다.
• 하이퍼파라미터 $ n $ 를 통해 그레인룰라리티 수준을 제어하며, 단계 $ l $ 에서 $ n = 2^{L-l+1} $ 이다. 이는 더 미세한 패치를 초기 단계에서, 더 굵은 패치를 후속 단계에서 사용하도록 보장한다.

실험 결과

연구 질문

• RQ1 미세 분류 이미지에서 가장 분류 가능한 특징들이 어느 그레인룰라리티 수준에 위치해 있으며, 이를 어떻게 체계적으로 식별할 수 있는가?
• RQ2 클래스 내 변화가 클 경우에도 다중 그레인룰라리티 특징을 효과적으로 융합하여 분류 성능을 향상시킬 수 있는가?
• RQ3 미세한 패치에서 시작하여 점차 더 굵은 패치로 이르는 프로그레시브 훈련 전략이 특징 학습과 모델 정확도 향상에 기여하는가?
• RQ4 재구성 퍼즐 패치 생성기가 다양한 그레인룰라리티 수준에서 분류 가능한 국소 특징 학습 능력을 얼마나 향상시키는가?
• RQ5 약한 지도 학습 기반 FGVC에서 최고의 성능을 달성하기 위해 최적의 훈련 단계 수와 패치 그레인룰라리티 수준은 무엇인가?

주요 결과

• 제안된 PMG 훈련 프레임워크는 재구성 퍼즐 생성기를 사용하고 4개의 훈련 단계를 거칠 경우 CUB-200-2011 데이터셋에서 최신 기술 수준(SOTA)의 89.6% 정확도를 달성한다 ($ n = 8,4,2,1 $).
• 재구성 퍼즐 생성기가 있는 경우 $ S = 3 $ 단계에서 정점 성능을 기록하며 88.9%의 정확도를 달성하지만, $ S = 4 $ 에서는 88.0%로 하락하고 $ S = 5 $ 에서는 87.2%로 감소하여 수익 감소와 너무 작은 패치로 인한 성능 저하가 발생함을 시사한다.
• 재구성 퍼즐 생성기가 없는 경우 최고 성능은 $ S = 3 $ 에서 88.3%이며, 이는 기준 프로그레시브 훈련 대비 0.6% 향상된 성능을 보여, 재구성 퍼즐 생성기가 유의미한 개선 효과를 가짐을 입증한다.
• Grad-CAM 시각화 결과, 제안된 방법은 초기 단계에서 분류 가능한 소규모 특징(예: 눈, 깃털 무늬)에 주의를 기울이며 점차 후속 단계에서 더 큰 스케일의 특징으로 이동하는 것으로 확인되었고, 기준 모델은 마지막 레이어에서만 활성화되는 것과 대비된다.
• 재구성 퍼즐 생성기는 각 그레인룰라리티 수준에서 의미 있는 분류 가능한 부분을 학습하도록 강제하여, 모든 단계에서 보다 포괄적이고 객체를 포괄하는 주의 맵을 생성함을 보여준다.
• 패치 수 $ n > 8 $ 인 경우, 재구성 퍼즐 패치가 너무 작아 유용한 의미 정보를 유지하지 못해 혼동이 발생하고 성능 저하가 발생하며, 특히 깊은 단계에서 더욱 심해진다.