[논문 리뷰] Explainable AI without Interpretable Model

Kary Främling|arXiv (Cornell University)|2020. 09. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 8

한 줄 요약

이 논문은 해석 가능한 서rogate 모델에 의존하지 않고 블랙박스 AI 결정에 대한 인간과 유사한 설명을 생성하기 위한 모델에 종속되지 않는 방법인 맥락적 중요도 및 유틸리티(CIU)를 소개한다. CIU는 맥락에 맞는 방식으로 특성 중요도와 유틸리티를 계산하여, 다양한 추상화 수준과 어휘 체계에서의 민첩하고 정확하며 사용자 맞춤형 설명을 가능하게 한다.

ABSTRACT

Explainability has been a challenge in AI for as long as AI has existed. With the recently increased use of AI in society, it has become more important than ever that AI systems would be able to explain the reasoning behind their results also to end-users in situations such as being eliminated from a recruitment process or having a bank loan application refused by an AI system. Especially if the AI system has been trained using Machine Learning, it tends to contain too many parameters for them to be analysed and understood, which has caused them to be called `black-box' systems. Most Explainable AI (XAI) methods are based on extracting an interpretable model that can be used for producing explanations. However, the interpretable model does not necessarily map accurately to the original black-box model. Furthermore, the understandability of interpretable models for an end-user remains questionable. The notions of Contextual Importance and Utility (CIU) presented in this paper make it possible to produce human-like explanations of black-box outcomes directly, without creating an interpretable model. Therefore, CIU explanations map accurately to the black-box model itself. CIU is completely model-agnostic and can be used with any black-box system. In addition to feature importance, the utility concept that is well-known in Decision Theory provides a new dimension to explanations compared to most existing XAI methods. Finally, CIU can produce explanations at any level of abstraction and using different vocabularies and other means of interaction, which makes it possible to adjust explanations and interaction according to the context and to the target users.

연구 동기 및 목표

• 기존의 해석 가능한 서rogate 모델에 의존하는 XAI 방법의 한계를 해결하기 위해, 원본 블랙박스 모델을 충실하게 반영하지 않을 수 있는 방법을 개선하기 위해.
• 결정 이론 및 인지 과학 원리를 바탕으로 비전문가 사용자에게도 설명 가능성을 향상시키기 위해.
• 사용자 전문성, 도메인 맥락, 상호작용 선호도에 맞춰 적응 가능한 맥락 민감한 인간과 유사한 설명을 가능하게 하기 위해.
• 실제 의사결정 동적 과정을 반영하는 방식으로 특성 중요도와 유틸리티를 통합적으로 설명할 수 있는 프레임워크를 제공하기 위해.
• 모델 아키텍처에 종속되지 않으며 모델의 정밀도를 희생시키지 않는 새로운 XAI 방법의 범주를 설정하기 위해.

제안 방법

• CIU는 몬테카를로 샘플링을 통해 입력 변형에 대한 편차를 분석함으로써, 다른 특성에 조건부로 특정 특성의 값이 모델 출력에 미치는 영향을 측정하여 맥락적 중요도(CI)를 계산한다.
• 맥락적 유틸리티(CU)는 특정 입력 값이 원하는 결과를 달성하는 데 얼마나 유리한지를, 입력 분포 전역에서의 모델 반응에 기반해 정량화한다.
• 이 방법은 모델에 종속되지 않으며, 아키텍처 수정 없이도 어떤 훈련된 블랙박스 모델에도 직접 적용할 수 있다.
• 중간 개념(Middle Concepts)이 도입되어 특성들을 그룹화함(예: '꽃잎 길이'와 '꽃잎 너비'에서 '꽃잎 크기와 모양'으로)하여 더 높은 추상 수준의 설명을 지원한다.
• 바 차트 및 시각화를 통해 CI와 CU 값을 표시하는 설명을 생성하며, 색상 코딩(빨간색/초록색)을 사용해 부정적 또는 긍정적 영향을 나타낸다.
• 이 접근법은 단일 조정 가능한 파rameter만을 사용한다: 변형 집합 S(𝑣𝐶, {𝑖}) 내 샘플 수이며, 향후 연구에서 조정하거나 자동화할 수 있다.

실험 결과

연구 질문

• RQ1 해석 가능한 서rogate 모델에 의존하지 않고도 블랙박스 AI 결정의 설명을 생성할 수 있는가?
• RQ2 실제 의사결정 과정을 반영하는 맥락 의존적인 방식으로 특성 중요도와 유틸리티를 어떻게 계산할 수 있는가?
• RQ3 모델 재학습 없이도 사용자 맥락, 어휘 체계, 추상화 수준에 맞게 설명을 적응시킬 수 있는가?
• RQ4 CIU 설명의 정밀도는 서rogate 모델 기반 XAI 방법의 설명과 비교해 어떻게 되는가?
• RQ5 CIU를 사용하여 다양한 블랙박스 모델의 신뢰성과 신뢰도를 평가할 수 있는가?

주요 결과

• CIU는 어떤 서rogate 모델도 사용하지 않고 Iris 및 Boston Housing 데이터셋에 대해 정확하고 맥락 민감한 설명을 성공적으로 생성했다.
• Iris 데이터셋에서 CIU는 Virginica를 분류하는 데 있어 '꽃잎 길이'와 '꽃잎 너비'가 가장 중요한 특성으로 정확히 식별했으며, 높은 CI(0.638)와 CU(0.995) 값을 기록했다.
• Boston Housing의 경우, CIU는 저가 주택 가격에 가장 큰 기여를 하는 'LSTAT'와 고가 주택 가격에 가장 큰 기여를 하는 'RM'을 식별했으며, 최고 가치의 인스턴스에서 CI 값은 각각 0.895와 0.927였다.
• CIU 설명은 여러 실행에 걸쳐 일관되었으며, 기저 모델의 차이(예: 기울기 부스팅 대 인공신경망)를 반영하여 모델 민감도를 보여주었다.
• 중간 개념인 '꽃잎 크기와 모양'의 사용은 도메인 특화된 추론과 일치하는 더 직관적이고 인간이 이해하기 쉬운 설명을 가능하게 했다.
• CIU 바 차트는 우호적인 입력 값(높은 CU)이 높은 'medv'와 같은 원하는 결과와 관련이 있음을 명확히 보여주었으며, 이는 유틸리티 기반 설명을 뒷받침했다.