[논문 리뷰] Take 5: Interpretable Image Classification with a Handful of Features

Thomas Norrenbrock, Marco Rudolph외 1명|arXiv (Cornell University)|2023. 03. 23.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 각 클래스당 해석 가능한 특징이 다섯 개인 희소 저차원 결정(SLDD) 모델을 제안한다. 이 모델은 glm-saga를 통한 희소 선형 분류와 새로운 특징 다양성 손실을 활용하여 딥 뉴럴 네트워크의 결정 레이어를 단순화한다. 이 방법은 네 종류의 세분화된 이미지 데이터셋에서 기준 모델의 97–100%의 정확도를 달성하면서도 인간이 이해할 수 있는 국소적이고 전역적인 해석 가능성을 제공한다.

ABSTRACT

Deep Neural Networks use thousands of mostly incomprehensible features to identify a single class, a decision no human can follow. We propose an interpretable sparse and low dimensional final decision layer in a deep neural network with measurable aspects of interpretability and demonstrate it on fine-grained image classification. We argue that a human can only understand the decision of a machine learning model, if the features are interpretable and only very few of them are used for a single decision. For that matter, the final layer has to be sparse and, to make interpreting the features feasible, low dimensional. We call a model with a Sparse Low-Dimensional Decision SLDD-Model. We show that a SLDD-Model is easier to interpret locally and globally than a dense high-dimensional decision layer while being able to maintain competitive accuracy. Additionally, we propose a loss function that improves a model's feature diversity and accuracy. Our more interpretable SLDD-Model only uses 5 out of just 50 features per class, while maintaining 97% to 100% of the accuracy on four common benchmark datasets compared to the baseline model with 2048 features.

연구 동기 및 목표

• 의료 및 자율주행과 같은 안전이 중요한 분야에서 딥 뉴럴 네트워크의 해석 가능성 부족 문제를 해결하기 위해.
• 인간의 인지 능력의 제한(7±2개 항목)에 부합하도록 각 클래스당 사용하는 특징 수를 약 다섯 개로 제한하여 모델 결정의 인간 이해 가능성을 보장하기 위해.
• 국소적(이 예측은 왜 이루어졌는가?) 및 전역적(모델은 어떻게 행동하는가?) 해석 가능성을 모두 지원하는 모델 아키텍처를 개발하기 위해.
• 새로운 손실 함수를 통해 특징 차원을 극적으로 줄이고 특징 다양성을 높이면서도 경쟁 가능한 정확도를 유지하기 위해.

제안 방법

• 선택된 특징에 대해 glm-saga를 적용하여 최종 결정 레이어에서 희소성을 강제하는 선형 분류기를 계산한다.
• 분류 성능을 유지하면서도 희소한 구조를 보존하도록 모델을 피지컬 튜닝한다.
• 변환 대신 특징 선택을 사용하여 원래의 특징 의미를 유지하고 해석 가능성을 향상시킨다.
• 상위 특징 간의 상호 중복을 최소화하여 정보가 풍부하고 겹치지 않는 표현을 유도하기 위해 특징 다양성 손실(Ldiv)을 도입한다.
• 교차 엔트로피와 Ldiv의 가중 조합으로 학습하며, 정확도와 다양성의 균형을 위해 β = 0.196를 사용한다.
• 학습된 특징을 인간이 이해할 수 있는 속성과 시각화 및 정성적 분석을 통해 사후에 정렬한다.

실험 결과

연구 질문

• RQ1 각 클래스당 특징 수를 다섯 개로 줄임으로써 딥 뉴럴 네트워크를 국소적이고 전역적으로 해석 가능하게 만들 수 있는가?
• RQ2 새로운 손실 함수를 통해 특징 다양성을 강제하면 극도로 희소한 환경에서 정확도가 향상되는가?
• RQ3 추가적인 지도 학습 없이도 희소 결정 레이어에서 학습된 특징을 인간이 이해할 수 있는 속성과 의미 있게 정렬할 수 있는가?
• RQ4 클래스당 50개의 특징 중 5개만 사용할 때, 제안된 SLDD-모델의 정확도가 밀집형 기준 모델과 어떻게 비교되는가?
• RQ5 희소 모델에서 특징 다양성과 분류 정확도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• SLDD-모델은 세분화된 이미지 분류 데이터셋 네 종류에서 클래스당 50개의 특징 중 5개만 사용함에도 불구하고 기준 모델의 97–100%의 정확도를 달성한다.
• 특징 다양성 손실(Ldiv)은 다양성@5와 정확도 모두를 크게 향상시키며, 최적 성능는 β = 0.196에서 달성된다.
• 시각화 결과, SLDD-모델의 상위 다섯 특징은 국소화되어 있으며 색상, 형태, 질감과 같은 인간이 이해할 수 있는 속성과 정렬되어 있음을 보여준다.
• 모델은 CUB-2011, FGVC-Aircraft, Stanford Cars, ImageNet-1K를 포함한 여러 데이터셋에서 높은 성능를 유지한다.
• 다양성@5와 정확도 사이의 관계는 긍정적이고 일관되며, 이는 희소 환경에서 다양성 손실의 효과를 입증한다.
• 사후 정렬 분석을 통해 몇몇 특징이 의미 있는 시각적 속성과 대응됨을 확인하여 국소적 및 전역적 해석 가능성을 모두 향상시킨다.