[논문 리뷰] Interpretable and Accurate Fine-grained Recognition via Region Grouping

Zixuan Huang, Yin Li|arXiv (Cornell University)|2020. 05. 21.

Advanced Neural Network Applications참고 문헌 66인용 수 7

한 줄 요약

이 논문은 이미지 수준의 레이블만을 사용하여 해석 가능한 미세 분류 시각 인식을 위한 딥 러닝 모델을 제안한다. 이 모델은 부분 발생에 대한 U자형 사전 지식을 활용하여 객체 부분과 그 기여도를 탐지한다. 특징을 일관된 영역으로 그룹화하고 정규화된 주의 메커니즘을 적용함으로써, CUB-200, CelebA, iNaturalist에서 최신 기술 수준의 정확도와 뛰어난 국소화 성능을 달성한다.

ABSTRACT

We present an interpretable deep model for fine-grained visual recognition. At the core of our method lies the integration of region-based part discovery and attribution within a deep neural network. Our model is trained using image-level object labels, and provides an interpretation of its results via the segmentation of object parts and the identification of their contributions towards classification. To facilitate the learning of object parts without direct supervision, we explore a simple prior of the occurrence of object parts. We demonstrate that this prior, when combined with our region-based part discovery and attribution, leads to an interpretable model that remains highly accurate. Our model is evaluated on major fine-grained recognition datasets, including CUB-200, CelebA and iNaturalist. Our results compare favorably to state-of-the-art methods on classification tasks, and our method outperforms previous approaches on the localization of object parts.

연구 동기 및 목표

• 예측을 부분 분할과 기여도 할당을 통해 설명할 수 있는 해석 가능한 딥 모델을 개발하여 미세 분류 시각 인식을 수행한다.
• 부분 레이블이 없이도 딥 네트워크 내에서 영역 기반 그룹화 기반 기반으로 의미 있는 객체 부분을 탐지한다.
• 이미지 간 부분 발생에 대한 단순한 U자형 사전 지식을 통합함으로써 모델의 해석 가능성과 정확도를 향상시킨다.
• 분류 정확도와 국소화 정밀도에 중점을 두고 표준적인 미세 분류 인식 벤치마크에서 모델을 평가한다.
• 약한 부분 발생 사전 지식이 영역 기반 탐지 및 주의 메커니즘과 조합될 경우, 약한 감독된 부분 감시 없이도 높은 성능을 달성할 수 있음을 보여준다.

제안 방법

• 학습된 부분 표현 사전와 비교하여 픽셀 특징을 시각적으로 일관된 영역으로 그룹화하는 딥 신경망을 사용한다.
• 최종 분류를 위해 특징 세그먼트 중 분류에 기여도가 높은 부분을 선택하기 위해 주의 메커니즘을 적용한다.
• 지문의 거리(EMD)를 사용하여 부분 발생에 대한 U자형 사전 지식(부분이 많은 이미지 또는 적은 이미지에 나타나는 것)을 도입하여 학습을 정규화한다.
• 부분 레이블 없이도 이미지 수준의 레이블과 U자형 사전 지식 정규화를 사용하여 모델을 엔드 투 엔드로 학습한다.
• 전체 이미지를 네트워크에 입력하여 국소화 및 일반화 성능을 향상시키기 위해 완전 컨볼루션 추론을 수행한다.
• 설명 가능한 출력을 생성한다: 부분 분할 맵, 각 부분에 대한 주의 가중치, 최종 분류 레이블.

실험 결과

연구 질문

• RQ1 이미지 수준의 레이블만을 사용하여 깊이 학습된 모델이 의미 있는 객체 부분을 탐지하고, 분류에 기여도를 할당할 수 있는가?
• RQ2 부분 발생에 대한 단순한 U자형 사전 지식이 약한 감독된 부분 탐지에 얼마나 효과적인가?
• RQ3 영역 기반 부분 탐지와 주의 메커니즘, 사전 지식 정규화를 통합하면 최신 기술 수준의 정확도를 달성하면서도 높은 해석 가능성을 유지할 수 있는가?
• RQ4 기존의 시각화 및 주의 기반 방법과 비교해 볼 때, 이 모델의 국소화 성능은 미세 분류 데이터셋에서 어떻게 평가되는가?
• RQ5 U자형 사전 지식과 주의 메커니즘이 부분 국소화 정확도와 모델의 강인성에 미치는 영향은 무엇인가?

주요 결과

• iNaturalist 2017 데이터셋에서, 모델은 완전 컨볼루션 테스트를 통해 ResNet101의 정확도를 5.7% 향상시켜 61.1%에서 66.8%로 개선했다.
• iNaturalist의 Pointing Game 벤치마크에서, 모델은 7.6%의 최저 국소화 오차를 기록하여 CAM/Grad-CAM(11.8%)과 Guided Grad-CAM(8.2%)을 모두 초월했다.
• CelebA에서, 왼쪽 눈의 국소화 오차는 7.4%, 오른쪽 눈은 7.5%, 코의 국소화 오차는 9.1%였으며, 전체 모델의 정확도는 91.5%였다.
• 제거 실험 결과, 정규화 항을 제거하면 국소화 오차가 8.4%에서 12.3%로 증가하여, 이 정규화 항이 부분 국소화 향상에 핵심적인 역할을 한다는 것을 입증했다.
• 주의 메커니즘을 제거한 모델는 약간 더 높은 국소화 성능(7.6% 오차)을 보였지만, 특정 부분에 대한 중요도 기여도를 할당할 수 없었으며, 이는 해석 가능성과 성능 사이의 상충 관계를 보여준다.
• iNaturalist에서의 실패 사례는 5,000개 이상의 카테고리에 걸쳐 단일 U자형 사전 지식의 한계로 기인한 것으로 분석되어, 향후 연구에서는 더 유연한 사전 지식이 필요할 것으로 제안된다.