[논문 리뷰] Explainability Is in the Mind of the Beholder: Establishing the Foundations of Explainable Artificial Intelligence

Kacper Sokol, Peter Flach|arXiv (Cornell University)|2021. 12. 29.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 설명 가능 AI(XAI)의 인간 중심 기반을 구축하기 위해 설명 가능성을 논리적 추론을 적용한 투명한 통찰에 대한 것으로 정의하며, 설명을 받는 이의 배경 지식과 맥락적 요인을 통해 해석한다. 설명 가능성을 단순한 지식 전달이 아닌 이해를 촉진하는 상호작용적 과정으로 재구성함으로써, 투명성 대 성능, 사전적 방법 대 사후적 방법에 대한 오랜 논쟁을 해결할 수 있는 통합된 프레임워크를 제공한다.

ABSTRACT

Explainable artificial intelligence and interpretable machine learning are research domains growing in importance. Yet, the underlying concepts remain somewhat elusive and lack generally agreed definitions. While recent inspiration from social sciences has refocused the work on needs and expectations of human recipients, the field still misses a concrete conceptualisation. We take steps towards addressing this challenge by reviewing the philosophical and social foundations of human explainability, which we then translate into the technological realm. In particular, we scrutinise the notion of algorithmic black boxes and the spectrum of understanding determined by explanatory processes and explainees' background knowledge. This approach allows us to define explainability as (logical) reasoning applied to transparent insights (into, possibly black-box, predictive systems) interpreted under background knowledge and placed within a specific context -- a process that engenders understanding in a selected group of explainees. We then employ this conceptualisation to revisit strategies for evaluating explainability as well as the much disputed trade-off between transparency and predictive power, including its implications for ante-hoc and post-hoc techniques along with fairness and accountability established by explainability. We furthermore discuss components of the machine learning workflow that may be in need of interpretability, building on a range of ideas from human-centred explainability, with a particular focus on explainees, contrastive statements and explanatory processes. Our discussion reconciles and complements current research to help better navigate open questions -- rather than attempting to address any individual issue -- thus laying a solid foundation for a grounded discussion and future progress of explainable artificial intelligence and interpretable machine learning.

연구 동기 및 목표

• 설명 가능 AI(XAI)와 해석 가능한 기계 학습(IML)의 핵심 정의에 대한 합의 부족 문제를 철학적 및 사회과학 원리에 기반하여 해결하기 위해.
• 설명 가능성을 모델의 정적 특성으로 보는 것이 아니라, 인간 설명을 받는 이의 이해를 촉진하는 동적이고 맥락에 의존하는 과정으로 재구성하기 위해.
• 모델의 투명성과 예측 성능 사이의 상호 보완적 관계를 해소하기 위해 사전적 및 사후적 설명 가능성의 차이를 명확히 하고, 각각의 비용과 정밀도를 분석하기 위해.
• 사용자 이해와 신뢰를 중심으로 삼는 설계, 평가, 구현을 위한 개념적 프레임워크를 제공하기 위해.
• 운영 맥락과 사용자 요구에 따라 데이터, 모델, 예측 단계 등 머신 러닝 워크플로우의 각 구성 요소가 별도로 해석 가능성이 요구될 수 있음을 규명하기 위해.

제안 방법

• 설명 가능성을 예측 시스템에 대한 투명한 통찰에 논리적 추론을 적용한 것으로 정의하며, 설명을 받는 이의 배경 지식과 운영 맥락이 이를 매개하는 개념적 모델을 제안한다.
• 투명성과 해석 가능성의 연속적 척도를 제안하며, 이는 이론적으로 이분법적 상태가 아니라 연속적인 개념임을 강조한다.
• 사전적(내재적으로 설명 가능한)과 사후적(후행적으로 보완된) 설명 가능성 기법 간의 차이를 분석하며, 사후적 방법이 본질적으로 간단하거나 비용이 적게 들지 않음을 강조한다.
• 과학 철학과 사회심리학의 통찰을 활용해 설명을 일방적인 정보 전달이 아닌 대화 과정으로 프레임워크화한다.
• 사용자 기대와 질문에 맞춰 논리적으로 일관된 설명을 구성하는 상호작용적이고 서사 중심의 에이전트로 설명기를 설계할 것을 제안한다.
• 단순한 사실 전달이 아니라 이해를 유도하는 능력에 기반해 설명 가능성을 평가하는 프레임워크를 제안하며, 사용자 필요와 맥락에 맞춘 혼합 방법 평가 지표 세트의 필요성을 제기한다.

실험 결과

연구 질문

• RQ1 지식 전달이 아닌 인간 이해를 목적으로 할 때 인공지능에서 설명 가능성이란 무엇인가?
• RQ2 설명을 받는 이의 배경 지식과 운영 맥락에 따라 설명 가능성이 어떻게 상호작용적 과정으로 개념화될 수 있는가?
• RQ3 예측 성능와 설명 가능성 사이의 상호 보완적 관계는 어느 정도 실질적인 제약가 되며, 사전적 및 사후적 설명 기법에 따라 어떻게 다를 수 있는가?
• RQ4 사용의 용이성과 일반성로 인식되는 사후적 설명기를 신뢰성과 정밀도 측면에서 어떻게 평가할 수 있는가?
• RQ5 대조적 설명(예: '왜 이 결과이고, 그 외의 결과가 아니었는가?')과 상호작용 대화는 블랙박스 모델의 깊은 이해를 어떻게 지원하는가?

주요 결과

• 설명 가능성이 모델의 특성만으로 존재하는 것이 아니라, 논리적 추론, 투명한 통찰, 맥락 기반 해석에 뿌리를 두고 인간 설명을 받는 이의 이해를 이끄는 상호작용적 과정임을 규명하였다.
• 사후적 설명기의 품질이 사전적 설명기보다 본질적으로 낮은 것은 아니며, 정밀도와 신뢰성 확보를 위해 상당한 엔지니어링 노력과 세심한 설계가 요구됨을 확인하였다.
• 투명성과 예측 능력 사이의 상호 보완적 관계는 맥락에 따라 뉘앙스가 있으며, 일반적인 규칙로 한쪽을 우선시할 수는 없다.
• 대조적 설명(왜 이 결과이고, 그 외의 결과가 아니었는가?)은 특히 고위험 분야에서 모델 결정의 도전, 반박, 디버깅을 가능하게 하므로 필수적이다.
• 정의된 바와 같이 설명 가능성을 공정성, 책임성, 디버깅 지원을 위해 머신 러닝 라이프사이클 전반(데이터, 모델, 예측 단계 포함)에 통합해야 한다.
• XAI의 통합 평가 프레임워크는 지식 전달을 넘어서 이해를 우선시해야 하며, 사용자 요구와 맥락에 맞춘 정성적 및 정량적 지표를 모두 포함해야 한다.