[논문 리뷰] Guided Zoom: Questioning Network Evidence for Fine-grained Classification

Sarah Adel Bargal, Andrea Zunino외 5명|arXiv (Cornell University)|2018. 12. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 37인용 수 15

한 줄 요약

Guided Zoom는 공간적 증거 기반을 통해 상위-k 예측을 정밀하게 다듬음으로써, 모델의 결정이 훈련 데이터와 일관되게 유지되도록 하여 미세 분류 성능을 향상시킨다. 이는 CUB-200-2011, Stanford Dogs, FGVC-Aircraft에서 테스트 시점의 증거를 정확히 분류된 훈련 예제의 기준 풀과 비교하여 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

We propose Guided Zoom, an approach that utilizes spatial grounding of a model's decision to make more informed predictions. It does so by making sure the model has "the right reasons" for a prediction, defined as reasons that are coherent with those used to make similar correct decisions at training time. The reason/evidence upon which a deep convolutional neural network makes a prediction is defined to be the spatial grounding, in the pixel space, for a specific class conditional probability in the model output. Guided Zoom examines how reasonable such evidence is for each of the top-k predicted classes, rather than solely trusting the top-1 prediction. We show that Guided Zoom improves the classification accuracy of a deep convolutional neural network model and obtains state-of-the-art results on three fine-grained classification benchmark datasets.

연구 동기 및 목표

• 미세 분류에서 미세한 시각적 차이로 인해 모델 오류가 흔한 상황에서 딥 컨volution 네트워크 예측의 신뢰성을 높이기 위해.
• 데이터셋 편향이나 아티팩트의 영향을 받을 수 있는 상위-1 예측에만 의존하는 것의 한계를 극복하기 위해.
• 예측에 대한 시각적 증거(공간 기반)가 정확히 분류된 훈련 예제의 증거와 일관한지 평가하여 분류 정확도를 향상시키기 위해.
• 부분 애너테이션이나 주의 메커니즘 모듈이 필요 없이도 어떤 사전 훈련된 CNN을라도 일반화 가능하게 다듬는 후행 프레임워크를 개발하기 위해.
• 학습된 증거 컨볼루션 네트워크 모듈을 사용해 상위-k 예측 클래스 간의 증거 일관성 비교를 통해 의사결정을 다듬기 위해.

제안 방법

• 모델 출력에서 특정 클래스의 조건부 확률에 대응하는 공간적으로 국소화된 활성화 맵(픽셀 공간 기반)을 증거로 정의한다.
• 반복적인 적대적 제거 기법을 사용해 정확히 분류된 훈련 이미지에서 (증거, 예측) 쌍의 기준 풀을 구성하여 주목할 만하고 구분력 있는 영역을 추출한다.
• 테스트 이미지의 증거와 기준 풀 내 증거 간의 일관성을 측정하기 위해 증거 컨볼루션 네트워크를 훈련한다.
• 증거 컨볼루션 네트워크의 출력을 활용해, 훈련 기준 풀과 가장 일관성이 높은 상위-k 클래스를 선택함으로써 최종 예측을 다듬는다.
• 모델 재학습이나 아키텍처 수정 없이도 사전 훈련된 어떤 CNN에도 테스트 시점에 적용 가능한 프레임워크를 설계한다.
• 다중 줌 인 기법을 활용해 상위-k 예측 클래스 각각에 대해 증거를 추출하고 평가함으로써 단일 줌 인 기법 대비 더 높은 내성성 확보.

실험 결과

연구 질문

• RQ1 모델의 시각적 증거의 타당성을 검증하는 방식으로 상위-1 예측을 신뢰하는 것보다 분류 정확도를 향상시킬 수 있는가?
• RQ2 훈련 데이터와의 증거 일관성이 미세 인식 작업에서 예측 신뢰성에 어떤 영향을 미치는가?
• RQ3 부분 애너테이션이나 주의 모듈이 필요 없이도 어떤 사전 훈련된 CNN을라도 일반화 가능한 후행 프레임워크를 개발할 수 있는가?
• RQ4 상위-k 클래스 간의 증거 일관성 기반으로 예측을 다듬는 것이 표준 상위-1 추론 방식보다 우월한가?
• RQ5 주목할 만한 증거에 대해 다중 줌 인을 적용할 경우 단일 줌 인 또는 주의 기반 방법 대비 성능 향상 정도는 어느 정도인가?

주요 결과

• CUB-200-2011에서 Guided Zoom는 상위-3 예측을 사용할 경우 상위-1 정확도를 82.3%에서 85.0%로 향상시키며, 상위-5 예측을 사용할 경우 85.4%까지 상승시킨다.
• Stanford Dogs 데이터셋에서 Guided Zoom는 상위-3 예측을 사용할 경우 상위-1 정확도를 86.9%에서 88.4%로 향상시키며, 상위-5 예측을 사용할 경우 88.5%까지 상승시킨다.
• FGVC-Aircraft 데이터셋에서 Guided Zoom는 상위-3 또는 상위-5 예측을 사용할 경우 상위-1 정확도를 87.5%에서 89.1%로 향상시킨다.
• MA-CNN 모델에 적용했을 때 Guided Zoom는 FGVC-Aircraft에서 상위-1 정확도 90.7%를 달성하여 새로운 최신 기술 수준을 수립한다.
• Guided Zoom는 세 가지 기준 데이터셋 모두에서 RA-CNN 및 기타 약한 지도 학습 방법을 능가하며, 다중 줌 인과 증거 일관성의 이점을 입증한다.
• 이 프레임워크는 주의 모듈을 사용해 훈련되지 않은 모델에도 효과적이며, 광범위한 적용 가능성과 내성성을 보여준다.