[논문 리뷰] Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)

Been Kim, Martin Wattenberg외 5명|arXiv (Cornell University)|2017. 11. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 476

한 줄 요약

TCAV은 사용자가 정의한 고수준 개념이 모델 예측에 얼마나 영향을 미치는지 정량화하기 위해 Concept Activation Vectors를 도입하여 재학습 없이도 전반적이고 개념 기반 해석을 가능하게 합니다. 이는 방향 미분과 통계적 검정을 결합하여 클래스 전반에 걸친 개념 민감도를 평가합니다.

ABSTRACT

The interpretation of deep learning models is a challenge due to their size, complexity, and often opaque internal state. In addition, many systems, such as image classifiers, operate on low-level features rather than high-level concepts. To address these challenges, we introduce Concept Activation Vectors (CAVs), which provide an interpretation of a neural net's internal state in terms of human-friendly concepts. The key idea is to view the high-dimensional internal state of a neural net as an aid, not an obstacle. We show how to use CAVs as part of a technique, Testing with CAVs (TCAV), that uses directional derivatives to quantify the degree to which a user-defined concept is important to a classification result--for example, how sensitive a prediction of "zebra" is to the presence of stripes. Using the domain of image classification as a testing ground, we describe how CAVs may be used to explore hypotheses and generate insights for a standard image classification network as well as a medical application.

연구 동기 및 목표

• 신경망을 높은 수준의 개념 측면에서 인간이 이해하기 쉽도록 해석하려고 한다.
• 사용자가 제공한 예시를 통해 학습 데이터 라벨을 넘어서 개념을 사용자 정의할 수 있다.
• 모델을 재학습하거나 수정할 필요 없이 플러그인 형태의 해석 가능성 도구를 제공한다.
• 개념의 전 세계적 중요성을 클래스 전반에 걸쳐 정량적으로 평가한다.

제안 방법

• 개념을 사용자가 제공한 입력 예시들의 집합으로 정의한다.
• 개념 예시의 활성화를 임의의 음수 샘플과 구분하기 위한 선형 분류기를 학습하여 Concept Activation Vector (CAV)을 얻는다.
• 활성화를 CAV 방향으로 투영하여 방향 미분(개념적 민감도)을 계산하고 클래스 로짓에 대한 영향력을 측정한다.
• TCAV 점수를 클래스-k 입력 중 방향 미분이 양수인 비율로 정의하여 전역 해석 가능성 지표를 산출한다.
• 다양한 임의 음수를 사용해 CAV를 반복적으로 학습하고 Bonferroni 보정을 적용한 양측 t-검정을 수행하여 개념의 통계적 유의성을 검증한다.
• 학습된 부분공간에서 관련 개념을 비교하기 위해 Relative TCAV로 확장한다.

실험 결과

연구 질문

• RQ1 신경망 내부 활성화 공간에서 고수준의 인간이 해석 가능한 개념을 어떻게 표현할 수 있는가?
• RQ2 모델을 재학습하지 않고도 사용자 정의 개념의 영향력을 모델 예측에 대해 정량화할 수 있는가?
• RQ3 TCAV가 데이터 클래스 전반에 걸쳐 개념 중요성의 안정적이고 통계적으로 유의한 지표를 제공하는가?
• RQ4 개념은 네트워크의 어느 부분(어떤 층)에서 학습되며 이것이 예측 영향력과 어떻게 연결되는가?
• RQ5 TCAV가 표준 네트워크에서 편향이나 바람직하지 않은 민감성(예: 성별이나 인종)에 대해 드러낼 수 있는가?

주요 결과

• CAV는 의도된 개념과 일치하는 것이 정성적 정렬 및 활성화 최대화 시각화를 통해 확인됩니다.
• TCAV 점수는 계층 전반의 개념 영향력을 드러내며, 로짓에 더 가까운 층일수록 예측에 더 직접적인 영향을 보입니다.
• 통계적 검정은 허위의 CAV를 걸러주어 개념 탐지 결과를 견고하게 만듭니다.
• Relative CAV를 통해 관련 개념 간에 미세한 비교가 가능합니다.
• 통제된 실제 ground-truth 실험에서 TCAV는 네트워크가 사용하는 실제 개념을 근접하게 추적하며 때로는 타당성 맵보다 성능이 앞서는 경우가 있습니다.
• 의료 DR 작업에 적용했을 때, TCAV는 진단적으로 관련된 개념을 식별하고 도메인 전문가의 기대와의 차이를 강조합니다.