[논문 리뷰] Influence-Directed Explanations for Deep Convolutional Networks

K. Rustan M. Leino, Shayak Sen외 3명|arXiv (Cornell University)|2018. 02. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 6

한 줄 요약

이 논문은 내부 뉴런의 분포 영향을 측정하여 딥 컨volution 네트워크에 영향을 주는 영향력 있는 설명을 제안한다. 이는 모델 행동을 형성하는 고수준 개념을 식별하며, 설명이 인스턴스 간 일반화되고 학습된 클래스의 '핵심'을 추출하며, 유사한 카테고리를 구분하는 데에 특징을 고립시키는 데 성공한다. 이는 입력 수준의 기여도 방법보다 뛰어나다.

ABSTRACT

We study the problem of explaining a rich class of behavioral properties of deep neural networks. Distinctively, our influence-directed explanations approach this problem by peering inside the network to identify neurons with high influence on a quantity and distribution of interest, using an axiomatically-justified influence measure, and then providing an interpretation for the concepts these neurons represent. We evaluate our approach by demonstrating a number of its unique capabilities on convolutional neural networks trained on ImageNet. Our evaluation demonstrates that influence-directed explanations (1) identify influential concepts that generalize across instances, (2) can be used to extract the "essence" of what the network learned about a class, and (3) isolate individual features the network uses to make decisions and distinguish related classes.

연구 동기 및 목표

• 딥 컨volution 네트워크의 투명성 문제를 해결하기 위해 단일 입력 인스턴스를 초월해 일반화되는 설명을 제공한다.
• 특정 분포에서 모델 행동에 영향을 주는 내부 뉴런이 학습한 고수준의 일반화 가능한 개념을 식별한다.
• 내부 영향 측정과 해석 기법을 조합하여 뉴런 행동과 모델 결정 간의 연결을 제공하는 설명을 만든다.
• 입력 공간의 변동성으로 인해 인스턴스 간 일반화 실패하는 입력 수준의 기여도 방법의 한계를 극복한다.
• 자연스러운 공리들을 충족시키는 이론적으로 탄탄한 영향 측정법을 제공하여 모델 행동에 충실한 설명을 가능하게 한다.

제안 방법

• 특정 네트워크 슬라이스에서 관심 있는 양의 편미분을 정의한 분포 영향 측정법을 제안하며, 이는 관심 있는 분포에 대해 평균화된다.
• 이 영향 측정법을 사용해 특정 분포(예: 모든 '고양이' 이미지 또는 클래스별 부분집합)에서 모델 행동에 큰 영향을 주는 뉴런을 식별한다.
• 활성화 최적화 등의 시각화 기법을 적용해 가장 영향력 있는 뉴런이 표현하는 개념을 해석한다.
• 슬라이스, 관심 있는 양, 관심 있는 분포를 자유롭게 지정할 수 있는 파라미터화된 영향 프레임워크를 활용해 다양한 행동적 특성에 대응한다.
• 영향 측정법을 공리적으로 정당화하여 선형성과 일관성과 같은 자연스러운 성질를 만족하는 유일한 가족임을 보여준다.
• 기존의 해석 도구와 영향 측정을 융합하여 행동적으로 관련성 있고 의미적으로 명확한 설명을 생성한다.

실험 결과

연구 질문

• RQ1 내부 뉴런에서 측정한 영향은 입력 수준의 기여도와 달리 여러 입력 인스턴스에 걸쳐 일반화되는 설명을 생성할 수 있는가?
• RQ2 영향 중심의 설명은 네트워크가 특정 클래스를 표현하는 방식의 '핵심'을 추출할 수 있는가? 예를 들어 '스포츠카'와 '컨버티블' 간의 차이를 고려할 때.
• RQ3 이 방법은 의미적으로 유사한 카테고리를 구분하는 데에 네트워크가 사용하는 고수준의 특징을 고립시킬 수 있는가?
• RQ4 분포 기반 영향은 통합 기울기와 같은 입력 수준의 기여도 방법과 비교해 의미 있는 개념을 식별하는 데 얼마나 효과적인가?
• RQ5 제안된 영향 측정법은 모델의 행동에 충실하면서도 바람직한 이론적 공리들을 충족하는가?

주요 결과

• 영향 중심의 설명은 인스턴스 간 일반화되는 영향력 있는 개념을 성공적으로 식별하지만, 입력 수준의 영향 방법은 픽셀 수준 기여의 높은 변동성으로 인해 이를 실패한다.
• 이 방법은 '스포츠카'와 '컨버티블' 간의 주요 차이인 차량의 옥상 형태와 같은 핵심 차별 특징을 나타내는 뉴런을 식별함으로써 클래스의 '핵심'을 추출한다.
• 영향 중심의 설명은 차량의 상단과 같은 의미적으로 명확하고 인스턴스 간 일관성 있는 고수준 특징을 고립시킨다.
• 활성화 기반의 관련성 방법(예: Oramas 등)보다 영향 측정법이 중요한 뉴런을 더 잘 식별함을 보여주며, 더 일관되고 해석 가능한 시각화 결과를 제공한다.
• 분포 기반 영향 측정법은 이론적으로 정당화되며 핵심 공리를 충족하여 기여도 기반 방법에 비해 신뢰할 수 있고 원칙적인 대안이 된다.
• ImageNet에서의 실증 결과는 영향 중심의 설명이 기존의 입력 수준 설명 기법보다 더 충실하고 해석 가능한 모델 행동 통찰을 제공함을 보여준다.