[논문 리뷰] Abstracting Deep Neural Networks into Concept Graphs for Concept Level Interpretability

Avinash Kori, Parth Natekar외 2명|arXiv (Cornell University)|2020. 08. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 5

한 줄 요약

이 논문은 의료 영상 해석을 위한 훈련된 딥 뉴럴 네트워크를 개념 그래프로 추상화하는 후행적 방법을 제안한다. 학습된 필터의 클러스터링을 통해 인간이 이해할 수 있는 개념을 식별하고, 상호정보량을 사용하여 그들 간의 관계를 모델링한다. 이 방법은 종양 경계 검출 및 당뇨성 망막병증 특징과 같은 임상적으로 유의미한 추론 경로를 드러내며, 수동적 개념 커리네이션 없이 개념 기반의 해석 가능성을 입증한다.

ABSTRACT

The black-box nature of deep learning models prevents them from being completely trusted in domains like biomedicine. Most explainability techniques do not capture the concept-based reasoning that human beings follow. In this work, we attempt to understand the behavior of trained models that perform image processing tasks in the medical domain by building a graphical representation of the concepts they learn. Extracting such a graphical representation of the model's behavior on an abstract, higher conceptual level would unravel the learnings of these models and would help us to evaluate the steps taken by the model for predictions. We show the application of our proposed implementation on two biomedical problems - brain tumor segmentation and fundus image classification. We provide an alternative graphical representation of the model by formulating a concept level graph as discussed above, which makes the problem of intervention to find active inference trails more tractable. Understanding these trails would provide an understanding of the hierarchy of the decision-making process followed by the model. [As well as overall nature of model]. Our framework is available at https://github.com/koriavinash1/BioExp

연구 동기 및 목표

• 의료 분야에서 사용되는 딥 러닝 모델의 개념 기반 해석 가능성 부족 문제를 해결하기 위해.
• 예시 또는 주의 기반 해석 방법의 한계를 극복하기 위해, 학습된 개념 간의 관계를 표현하지 못하는 문제를 해결하기 위해.
• 수정된 입력 개념이 필요 없이 훈련된 모델에서 이해할 수 있는 고수준의 개념 그래프를 추출하는 후행적 방법을 개발하기 위해.
• 임상의들이 모델의 의사결정 논리적 경로를 해부학적 및 병리학적 관련성에 기반한 활성 추론 경로를 통해 추적할 수 있도록 하기 위해.
• 영상의학 전문의 및 망막 전문의의 피드백을 통해 실제 의료 영상 작업에서의 방법의 유효성을 검증하기 위해.

제안 방법

• 유저가 정의한 네트워크 레이어에서 채널 간 필터 가중치 벡터를 유클리드 거리 기반 클러스터링을 통해 사용하여 개별 시각적 개념을 탐지하는 데 특화된 그룹을 식별한다.
• 각 클러스터를 개념 그래프의 노드로 표현하며, 노드는 추상적이고 인간이 이해할 수 있는 개념(예: 종양 핵심, 출혈)을 나타낸다.
• 상호정보량 기반 메트릭을 사용하여 개념 노드 간의 간선을 추정하여 네트워크 내 기능적 관계와 의존성을 모델링한다.
• 수정된 Grad-CAM 기법을 사용하여 개념 활성화를 시각화하여 입력 영상에서 각 개념이 감지된 위치를 국소화한다.
• 최종 예측에 이르는 경로를 개념 그래프를 따라 추적하여 활성 경로를 추적함으로써 개념 활성화의 순서를 식별하는 추론 경로를 구성한다.
• 영상의학 전문의 및 망막 전문의의 피드백을 활용하여 추출된 개념 경로의 임상적 관련성과 그 계층적 구조를 검증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 학습된 시각적 개념 간의 관계를 반영하는 이해 가능한 개념 그래프로 추상화될 수 있는가?
• RQ2 모델에서 추론된 개념 경로는 영상의학 전문의 및 망막 전문의가 관찰하는 임상적 추론 패턴과 일치하는가?
• RQ3 종양 경계나 망막 출혈과 같은 임상적으로 관련된 특징들이 명시적 감독이나 입력 개념 커리네이션 없이 모델에서 자연스럽게 도출될 수 있는가?
• RQ4 식별된 추론 경로가 인간 전문가와 유사한 계층적 개념 기반 의사결정 과정을 어느 정도 반영하는가?
• RQ5 개념 그래프 프레임워크는 모델의 편향과 의사결정 경로를 드러내어 의료 AI의 신뢰도와 투명도를 향상시킬 수 있는가?

주요 결과

• 이 방법은 뇌 종양 세그멘테이션 및 당뇨성 망막병증 분류 모델에서 개념 그래프를 성공적으로 추출하였으며, 종양 핵심, 경계, 출혈과 같은 개념들이 필터 클러스터에서 자연스럽게 도출되었다.
• 영상의학 전문의들은 종양 세그멘테이션의 모델 추론 경로가 임상 독해 관행과 일치하는 측면에서 중앙으로 향하는 주의 패턴을 따르는 것으로 확인했다.
• 모델이 종양 경계 분할(개념 $C_3$)에 집중한 것은 신경외과의사들에게 임상적으로 유용하게 평가되었으며, 생체 조직 손상을 최소화하기 위해 생검 또는 종양 제거 시 유용하다고 평가되었다.
• 당뇨성 망막병증 분류 작업에서 망막 전문의는 하드 및 소프트 출혈, 점-블롯 출혈, 레이저 상처 등의 핵심 특징을 추론 경로에서 식별했으며, 이는 명시적으로 학습된 바가 없음에도 불구하고 발견되었다.
• 개념 그래프는 미세동맥종에서 출혈로의 진행과 같은 개념 간의 계층적 관계를 드러내어 임상 등급 평가 과정을 반영하였다.
• 이 프레임워크는 개념 수준의 추론 경로가 이해 가능하고 임상적으로 의미 있는 것으로 입증되었으며, 입력 수준의 개념 애너테이션 없이도 모델 결정의 투명하고 후행적인 설명을 제공한다.