[논문 리뷰] Analyzing Classifiers: Fisher Vectors and Deep Neural Networks

Sebastian Bach, Alexander Binder외 3명|arXiv (Cornell University)|2015. 12. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 8

한 줄 요약

이 논문은 Layer-wise Relevance Propagation (LRP)를 Fisher Vector (FV) 분류기로 확장하여 예측의 해석 가능성을 제공한다. FV 모델이 저작권 태그와 같은 문맥적 요소들에 크게 의존하는 반면, DNN은 객체 특성에 집중함을 드러내며, FV는 문맥을 통해 일반화하는 반면 DNN은 학습된 객체 표현을 통해 일반화함을 입증한다. 이는 문맥이 잘못된 경우에도 성립한다.

ABSTRACT

Fisher Vector classifiers and Deep Neural Networks (DNNs) are popular and successful algorithms for solving image classification problems. However, both are generally considered `black box' predictors as the non-linear transformations involved have so far prevented transparent and interpretable reasoning. Recently, a principled technique, Layer-wise Relevance Propagation (LRP), has been developed in order to better comprehend the inherent structured reasoning of complex nonlinear classification models such as Bag of Feature models or DNNs. In this paper we (1) extend the LRP framework also for Fisher Vector classifiers and then use it as analysis tool to (2) quantify the importance of context for classification, (3) qualitatively compare DNNs against FV classifiers in terms of important image regions and (4) detect potential flaws and biases in data. All experiments are performed on the PASCAL VOC 2007 data set.

연구 동기 및 목표

• 모델의 해석 가능성을 위해 Layer-wise Relevance Propagation (LRP)를 Fisher Vector 분류기에 확장하는 것.
• FV 및 DNN 모델의 이미지 분류 결정에서의 문맥 사용 정도를 정량화하는 것.
• 동일한 데이터셋에서 FV 및 DNN 분류기의 공간적 주의 패턴을 비교하는 것.
• 분류에 부당하게 영향을 미칠 수 있는 데이터 편향 및 아티팩트(예: 저작권 태그)를 탐지하는 것.
• PASCAL VOC 2007에서 히트맵 기반의 관련성 분석을 통해 모델 결정의 신뢰성을 검증하는 것.

제안 방법

• FV 표현에 대한 관련성 역전파 방식을 유도하여 FV 분류기에 LRP를 확장하는 것.
• LRP 프레임워크를 사용해 최종 분류 결정을 설명하는 픽셀 단위의 관련성 점수를 계산하는 것.
• 예측에서의 문맥 사용 정도를 정량적으로 측정하기 위해 '외부-내부 관련성 비율'(식 11)을 정의하는 것.
• PASCAL VOC 2007 데이터셋에 바운딩 박스 애너테이션을 사용하여 문맥 관련성을 검증하는 것.
• 20개 클래스에 걸쳐 FV 및 DNN 히트맵을 비교하여 특징 주의 패턴의 차이를 분석하는 것.
• 시각화 및 통계적 비율을 활용해 모델이 텍스트나 배경과 같은 비객체 특징에 의존하는지 탐지하는 것.

실험 결과

연구 질문

• RQ1 Fisher Vector 분류기는 객체 자체보다 문맥적 이미지 영역에 얼마나 의존하는가?
• RQ2 동일한 이미지 분류 작업에서 Fisher Vector 모델의 문맥 사용은 DNN 모델과 어떻게 비교되는가?
• RQ3 LRP 기반 히트맵은 분류에 편향을 주는 비합리적인 상관관계나 데이터 아티팩트(예: 저작권 태그)를 탐지할 수 있는가?
• RQ4 외부-내부 관련성 비율은 이미지 분류기의 문맥 의존성을 효과적으로 정량화하는가?
• RQ5 해석 방법(예: LRP)을 통해 모델의 성능이 진정한 객체 특징이 아닌 아티팩트에 의해 이끌리는지 드러낼 수 있는가?

주요 결과

• Fisher Vector 모델은 저작권 태그와 같은 문맥적 아티팩트에 강하게 의존하며, 이는 예측에 상당한 영향을 미친다.
• 저작권 태그를 제거하면 FV 히트맵은 극적으로 변화하지만, DNN 히트맵은 거의 영향을 받지 않아, DNN이 이러한 아티팩트에 대해 강건함을 시사한다.
• 평균 FV 히트맵은 비객체 영역에서 일관되게 높은 관련성을 보이며, 비객체 문맥에 대한 체계적인 집중을 확인한다.
• 외부-내부 관련성 비율은 FV 모델이 DNN보다 훨씬 더 많은 문맥을 사용함을 보여주며, 특히 물, 하늘, 실내 환경 등 배경이 예측에 기여하는 'boat', 'airplane', 'chair' 등의 클래스에서 두드러진다.
• 'sheep', 'car', 'bicycle' 등의 클래스에서는 FV 모델이 낮은 문맥 사용을 보이나 여전히 양호한 성능을 달성하여, 가용한 경우 객체 특성에 의존함을 시사한다.
• DNN은 항상 객체 자체에 집중하며 배경 영역에서 낮은 관련성을 보이며, 'aeroplane', 'bird', 'dog' 등의 클래스에서 더 높은 정확도를 달성함으로써 강건한 객체 기반 추론을 보여준다.