[논문 리뷰] Human-Centered Concept Explanations for Neural Networks

Chih‐Kuan Yeh, Been Kim외 1명|arXiv (Cornell University)|2022. 02. 25.

Explainable Artificial Intelligence (XAI)인용 수 12

한 줄 요약

이 논문은 신경망의 인간 중심 개념 해석을 위해 신경 활성화 공간 내에서 인간이 이해할 수 있는 개념을 표현하기 위해 개념 활성화 벡터(CAVs)를 사용하는 방법을 제안한다. 개념 기반 해석이 인간의 추론과 모델 예측 간의 다리를 놓으며, 의료 및 강화학습과 같은 실제 적용 분야에서 더 직관적이고 의미 있는 해석을 가능하게 한다.

ABSTRACT

Understanding complex machine learning models such as deep neural networks with explanations is crucial in various applications. Many explanations stem from the model perspective, and may not necessarily effectively communicate why the model is making its predictions at the right level of abstraction. For example, providing importance weights to individual pixels in an image can only express which parts of that particular image are important to the model, but humans may prefer an explanation which explains the prediction by concept-based thinking. In this work, we review the emerging area of concept based explanations. We start by introducing concept explanations including the class of Concept Activation Vectors (CAV) which characterize concepts using vectors in appropriate spaces of neural activations, and discuss different properties of useful concepts, and approaches to measure the usefulness of concept vectors. We then discuss approaches to automatically extract concepts, and approaches to address some of their caveats. Finally, we discuss some case studies that showcase the utility of such concept-based explanations in synthetic settings and real world applications.

연구 동기 및 목표

• 모델 수준의 해석(예: 특성 중요도)과 인간의 추론 간 격차를 해소하기 위해 개념 기반 해석을 도입하기 위해.
• 예를 들어 '왼쪽에 뼈대가 있는가' 또는 '세포핵의 질감'와 같은 인간이 이해할 수 있는 개념을 사용하여 복잡한 신경망 결정을 해석할 수 있는 프레임워크를 개발하기 위해.
• 의료 및 과학 영상 분야와 같은 분야에서 널리 알려진 개념 지식과 해석을 일치시켜 도메인 전문가에게 모델 행동을 더 효과적으로 전달하기 위해.
• 기존의 XAI 기법(예: 특성 기반, 반대 조건 기반)과 개념 해석을 통합하여 더 풍부하고 다층적인 해석 가능성 확보하기 위해.
• 의료 진단 및 강화학습과 같은 실제 응용 분야에서 개념 해석의 유용성을 탐색하기 위해.

제안 방법

• 신경 활성화 공간 내에서 개념을 방향으로 표현하기 위해 개념 활성화 벡터(CAVs)를 사용하여 개념이 모델 예측에 미치는 영향을 정량화하기 위해.
• 활성화 공간 내에서 선형 분리 가능성과 방향 일致성과 같은 통계적 측정을 통해 개념의 유용성을 정의하기 위해.
• 개별 개념이 모델 출력에 기여하는 방식을 설명하기 위해 CAVs를 후행 해석 기법(LRP, 통합 기울기 등)과 결합하기 위해.
• 강화학습에서 대조적 해석을 생성하기 위해 개념 점수를 기반으로 상징적 추론(예: STRIPS 유사 모델)을 적용하기 위해.
• 합성 및 실제 응용 환경에서 인간이 주석을 달아 개념을 검증하여 해석 가능성과 전문가 직관과의 일치를 입증하기 위해.
• 개념 기반 해석을 활용하여 '태풍 예측에서 눈의 존재' 또는 'AKI 진단에서 항생제의 존재'와 같은 고수준 패턴을 발견하고 전달하기 위해.

실험 결과

연구 질문

• RQ1 기존의 특성 수준의 해석과 비교해 개념 기반 해석이 딥 신경망의 해석 가능성에 어떻게 기여하는가?
• RQ2 고차원 활성화 공간 내에서 개념 벡터가 유용하고 인간이 이해할 수 있는 데 필요한 특성들은 무엇인가?
• RQ3 의료 영상과 같은 실제 도메인에서 개념 기반 해석을 자동으로 추출하고 검증할 수 있는가?
• RQ4 기존의 XAI 기법(예: 반대 조건, 활성도 맵)과 개념 기반 해석을 어떻게 통합하여 해석 가능성의 깊이를 높일 수 있는가?
• RQ5 의료 및 과학적 발견과 같은 고위험 응용 분야에서 도메인 전문가에게 모델 결정을 효과적으로 전달할 수 있는가?

주요 결과

• CAVs를 사용한 개념 기반 해석은 픽셀 수준이나 특성 수준의 해석보다 더 직관적이고 의미 있는 해석을 가능하게 한다.
• 의료 영상 분야에서 '세포핵의 질감'과 '심실출구율'과 같은 개념이 정확한 진단에 핵심적인 역할을 하며 전문가 지식과 일치함을 확인함.
• 강화학습 분야에서 개념 점수를 기반으로 구축한 상징적 모델이 '행동 A가 선택되지 않은 이유는 조건 B가 충족되지 않기 때문'과 같은 대조적 해석을 성공적으로 생성함.
• 태풍 예측에서 '눈' 또는 급성 신장손상 진단에서 'NSAIDs'와 같은 개념이 매우 예측 가능하고 해석 가능함이 밝혀짐.
• 기존 XAI 기법과 개념 기반 해석을 통합함으로써 다양한 응용 분야에서 모델 해석의 깊이와 명확성이 향상됨.
• 인간 중심의 개념 기반 해석은 도메인 특화 개념이 잘 정립된 분야에서 블랙박스 모델과 전문가의 추론 간 격차를 메운다.