[논문 리뷰] Hierarchical Semantic Tree Concept Whitening for Interpretable Image Classification

Haixing Dai, Lu Zhang외 10명|arXiv (Cornell University)|2023. 07. 10.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 깊이 있는 이미지 분류에서 해석 가능성성을 향상시키기 위해 잠재 표현을 계층적 의미 개념 수나무와 정렬함으로써, 새로운 의미 제약(semantic constraint, SC) 손실을 도입한 계층적 의미 수나무 개념 화이트닝(HaST-CW)을 제안한다. 이 방법은 개념 간의 계층적 관계를 유지하고, 분리도를 향상시키며, 분류 정확도를 유지한다. 실험은 ResNet 기반 구조를 사용한 Agri-ImageNet 데이터셋에서 수행되었다.

ABSTRACT

With the popularity of deep neural networks (DNNs), model interpretability is becoming a critical concern. Many approaches have been developed to tackle the problem through post-hoc analysis, such as explaining how predictions are made or understanding the meaning of neurons in middle layers. Nevertheless, these methods can only discover the patterns or rules that naturally exist in models. In this work, rather than relying on post-hoc schemes, we proactively instill knowledge to alter the representation of human-understandable concepts in hidden layers. Specifically, we use a hierarchical tree of semantic concepts to store the knowledge, which is leveraged to regularize the representations of image data instances while training deep models. The axes of the latent space are aligned with the semantic concepts, where the hierarchical relations between concepts are also preserved. Experiments on real-world image datasets show that our method improves model interpretability, showing better disentanglement of semantic concepts, without negatively affecting model classification performance.

연구 동기 및 목표

• 딥 네URAL 네트워크의 해석 가능성 부족 문제를 해결하기 위해, 후행 분석에 의존하는 것이 아니라 인간이 이해할 수 있는 의미 개념을 잠재 표현에 사전에 통합하는 것.
• 질병 단계나 농업 대상 카테고리와 같은 개념 간의 계층적 관계를 딥 러닝 모델의 잠재 공간 내에서 모델링하는 것.
• 분류 성능를 유지하면서도 잠재 표현 내 의미 개념의 분리도를 향상시키는 것.
• 모델이 계층적으로 어떻게 개념을 인코딩하고 관련짓는지를 전역적이고 구조적인 이해를 제공하는 것.
• 도메인 지식을 구조화된 의미 제약과 결합하여 모델 표현을 정렬함으로써 더 명확하고 신뢰할 수 있는 AI를 가능하게 하는 것.

제안 방법

• 이 방법은 각 노드가 개념(예: '잡초', '뱀잡초')를 나타내며 부모-자식 관계가 의미의 세분성을 반영하는 계층적 의미 개념 수나무를 구성한다.
• 유사한 의미를 가진 개념들이 잠재 공간 내에서 가까이 위치하도록 정규화하기 위해 새로운 의미 제약(SC) 손실 함수를 도입한다.
• 계층적 개념 화이트닝(HCW)은 잠재 차원 간의 활성화 상관관계를 제거하여 각 개념이 하나 이상의 특정 차원과 정렬되도록 하되, 계층적 구조는 유지한다.
• SC 손실은 관련 개념(예: '잡초'와 '뱀잡초')의 데이터 인스턴스가 잠재 공간 내에서 가까운 영역으로 매핑되도록 강제한다.
• 분류 성능와 해석 가능성성을 동시에 최적화하기 위해 교차 엔트로피 손실과 SC 손실을 조합하여 엔드 투 엔드로 학습한다.
• Agri-ImageNet 데이터셋에서 ResNet18 및 ResNet50 백본을 사용하여 평가하였으며, 개념 정렬 정도를 평가하기 위해 계층적 활성화 수나무의 시각화를 수행하였다.

Figure 1: The intuition behind HaST-CW. (a) Distribution of discrete concepts in the latent space after applying concept whitening. (b) Distribution of hierarchical concepts after applying HaST-CW.

실험 결과

연구 질문

• RQ1 잠재 공간에 계층적 의미 개념을 사전에 통합함으로써 딥 이미지 분류기의 해석 가능성을 향상시킬 수 있는가?
• RQ2 개념 간의 계층적 관계를 유지할 경우, 잠재 공간 내에서의 분리도와 표현 품질에 어떤 영향을 미치는가?
• RQ3 제안된 SC 손실 함수가 의미적으로 유사한 개념들을 잠재 공간 내에서 효과적으로 정렬하면서도 분류 정확도를 유지하는가?
• RQ4 히에라르키컬 활성화 수나무를 통해 시각화할 때, HaST-CW는 네트워크 계층을 거쳐 개념이 어떻게 점진적으로 학습되는지를 어느 정도 드러내는가?
• RQ5 농업 및 헬스케어와 같이 의미적으로 의미 있는 개념 계층이 존재하는 실제 도메인에 대해 이 방법이 일반화 가능한가?

주요 결과

• SC 손실을 적용한 HaST-CW 모델은 ResNet50를 사용하여 Agri-ImageNet 데이터셋에서 테스트 정확도 69.49% ± 3.20을 달성하였으며, 베이스라인 CW 방법(69.30% ± 3.75)과 표준 교차 엔트로피 베이스라인(69.25% ± 3.93)을 약간 앞서는 성능을 보였다.
• 계층적 활성화 수나무의 시각화 결과, 이미지가 의미 계층을 따라 정확하게 활성화되었으며, 특히 '뱀잡초' 이미지의 경우 부모 개념('잡초')과 자식 개념('뱀잡초')에서 가장 높은 활성화가 관찰되었다.
• SC 손실은 유사한 개념(예: '잡초'와 '사과')을 가진 이미지들이 잠재 공간 내에서 조밀한 블록으로 그룹화되도록 효과적으로 유도하였으며, 표준 개념 화이트닝에서는 산만하게 흩어진 분포를 보였다.
• 이 방법은 표현 내에서 계층적 구조를 유지하였으며, '뱀잡초'와 '사과-멜로즈'와 같은 하위 개념들이 부모 개념과 정렬된 고유한 클러스터를 형성하였다.
• 결과적으로 HaST-CW는 분류 성능 저하 없이 분리도와 해석 가능성을 향상시켰으며, 더 명확하고 구조적인 잠재 공간 조직을 보여주었다.
• 이 방법은 모델 행동에 대한 전역적이고 개념 수준의 이해를 가능하게 하여, 헬스케어 및 농업과 같은 중요한 도메인에서 인간-AI 협업과 신뢰를 지원한다.

Figure 2: Hierarchical Tree Structure of Concepts.