[논문 리뷰] (Un)reasonable Allure of Ante-hoc Interpretability for High-stakes Domains: Transparency Is Necessary but Insufficient for Comprehensibility

Kacper Sokol, Julia E. Vogt|arXiv (Cornell University)|2023. 06. 04.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 의료와 같은 고위험 분야에서 사후 해석 가능성에 대한 과도한 의존을 비판하며, 투명성만으로는 이해 가능성에 충분하지 않다고 주장한다. 다양한 청중을 고려한 이해 가능한 설명을 확보하기 위해 모듈성, 기원, 연대기, 추론 유형을 통합하는 인간 중심의 프레임워크를 제안한다.

ABSTRACT

Ante-hoc interpretability has become the holy grail of explainable artificial intelligence for high-stakes domains such as healthcare; however, this notion is elusive, lacks a widely-accepted definition and depends on the operational context. It can refer to predictive models whose structure adheres to domain-specific constraints, or ones that are inherently transparent. The latter conceptualisation assumes observers who judge this quality, whereas the former presupposes them to have technical and domain expertise (thus alienating other groups of explainees). Additionally, the distinction between ante-hoc interpretability and the less desirable post-hoc explainability, which refers to methods that construct a separate explanatory model, is vague given that transparent predictive models may still require (post-)processing to yield suitable explanatory insights. Ante-hoc interpretability is thus an overloaded concept that comprises a range of implicit properties, which we unpack in this paper to better understand what is needed for its safe adoption across high-stakes domains. To this end, we outline modelling and explaining desiderata that allow us to navigate its distinct realisations in view of the envisaged application and audience.

연구 동기 및 목표

• 의료와 같은 고위험 분야에서 사후 해석 가능성에 대한 모호함과 공감대 부족 문제를 다루기 위해.
• 본질적으로 투명한 모델이라도 비전문가 해석자에게 이해하기 어려운 이유를 규명하기 위해.
• 모듈성, 기원, 연대기, 추론 유형과 같은 구조화된 요구사항 프레임워크를 제안하여 투명성 이상의 이해 가능성 향상을 위해.
• 기원과 설명적 인사이트 처리 방식에 초점을 맞춰 사후 해석 가능성과 사전 해석 가능성의 차이를 명확히 하기 위해.
• 다양한 청중에게 의미 있게 이해 가능한 설명을 제공할 수 있도록 XAI 시스템을 설계하는 데 도움을 주기 위해.

제안 방법

• 기능적, 구조적, 청중 기반 기준을 통해 사전 해석 가능성과 사후 해석 방법을 구분함으로써 사전 해석 가능성 개념을 해체한다.
• 모듈성, 기원(내생적 대비 외생적), 인사이트의 연대기(투명성), 추론 유형(인간, 알고리즘, 하이브리드)이라는 네 가지 핵심 요구사항 기반의 프레임워크를 도입한다.
• 설명적 인사이트가 모델 구조에서 유래된 내생적 요소인지, 또는 대체 모델에서 유래된 외생적 요소인지 분석하며, 진실성과 추적 가능성에 중점을 둔다.
• 규칙 기반 해석, 반성적 가정 생성, 계수 분석 등의 추론 과정을 평가하여 인지 부하와 정확도를 분석한다.
• 기원-연대기 축을 따라 기술들을 맵핑하는 스펙트럼 기반 접근 방식을 제안하여, 높은 투명성의 사전 해석 기법과 낮은 투명성의 사후 해석 기법을 구분한다.
• 의료 분야와 결정 트리 사례 연구를 통해 모델의 투명성만으로도 사용자 이해가 보장되지 않음을 입증하며, 특히 추론 과정이 잘못 기원되거나 과도하게 단순화될 경우 문제가 됨을 설명한다.

실험 결과

연구 질문

• RQ1 사전 해석 가능성은 안정적이고 널리 수용된 정의가 없음에도 불구하고 왜 종종 우월한 것으로 간주되는가?
• RQ2 고위험 분야에서 비전문가 해석자에게 모델의 투명성이 얼마나 이해 가능성 보장하는가?
• RQ3 설명적 인사이트의 기원과 연대기가 설명의 신뢰성과 신뢰도에 어떤 영향을 미치는가?
• RQ4 인간, 알고리즘, 또는 하이브리드 추론 방식이 모델 출력을 의미 있는 설명으로 전환하는 데 어떤 역할을 하는가?
• RQ5 다양한 청중에게 설명이 단순히 투명할 뿐 아니라 이해 가능하도록 XAI 시스템을 어떻게 설계할 수 있는가?

주요 결과

• 사전 해석 가능성은 과도하게 부담되고 모호한 개념이며, 종종 투명성과 이해 가능성의 개념을 혼동함으로써 고위험 분야에서 기대와의 괴리가 발생한다.
• 본질적으로 투명한 모델이라도 인지적 불일치로 인해 비전문가 사용자가 이해하지 못할 수 있으며, 예를 들어 결정 트리의 루트 분할을 기능 중요도의 지표로 잘못 해석하는 경우가 있다.
• 직접 모델에서 유래된 내생적 설명은 대체 모델에 의존하는 외생적 설명보다 기원 신뢰도와 투명성이 높으며, 정확성에 위험이 적다.
• 설명의 추론 과정(인간, 알고리즘, 하이브리드)은 이해 가능성에 상당한 영향을 미치며, 반드시 해석자의 전문성과 일치시켜야 한다.
• 설명의 기원과 연대기는 신뢰성 확보에 핵심적이며, 내생적 인사이트는 사후 대체 모델보다 더 높은 투명성과 낮은 왜곡 위험을 제공한다.
• 모듈성, 청중 맞춤형 추론, 추적 가능한 정보 연대기를 통합하는 인간 중심의 접근 방식이 투명성과 실제 이해 가능성 사이의 격차를 메우기 위해 필수적이다.