[논문 리뷰] Flexible and Context-Specific AI Explainability: A Multidisciplinary Approach

Valérie Beaudouin, Isabelle Bloch외 7명|HAL (Le Centre pour la Communication Scientifique Directe)|2020. 03. 13.

Explainable Artificial Intelligence (XAI)인용 수 10

한 줄 요약

이 논문은 기술적, 법적, 경제적 요소를 통합하여 특정 맥락에서의 AI 해석 가능성에 적합한 최적 수준의 설명을 결정하는 다학제적 프레임워크를 제안한다. 맥락적 요인, 가용 기술 도구, 비용-편익 트레이드오프를 평가함으로써, 투명성, 안전성, 규제 준수를 균형 잡는 맞춤형 글로벌 및 로컬 설명을 가능하게 한다.

ABSTRACT

The recent enthusiasm for artificial intelligence (AI) is due principally to advances in deep learning. Deep learning methods are remarkably accurate, but also opaque, which limits their potential use in safety-critical applications. To achieve trust and accountability, designers and operators of machine learning algorithms must be able to explain the inner workings, the results and the causes of failures of algorithms to users, regulators, and citizens. The originality of this paper is to combine technical, legal and economic aspects of explainability to develop a framework for defining the "right" level of explain-ability in a given context. We propose three logical steps: First, define the main contextual factors, such as who the audience of the explanation is, the operational context, the level of harm that the system could cause, and the legal/regulatory framework. This step will help characterize the operational and legal needs for explanation, and the corresponding social benefits. Second, examine the technical tools available, including post hoc approaches (input perturbation, saliency maps...) and hybrid AI approaches. Third, as function of the first two steps, choose the right levels of global and local explanation outputs, taking into the account the costs involved. We identify seven kinds of costs and emphasize that explanations are socially useful only when total social benefits exceed costs.

연구 동기 및 목표

• 정책 문서에서 설명 가능성의 의미와 다양한 맥락에서의 적용 방법에 대한 명확성 부족 문제를 해결한다.
• 청중, 위험도, 규제, 운영 필요성에 기반하여 적절한 수준의 설명 가능성을 결정하는 체계적인 접근법을 개발한다.
• 후행 설명 및 하이브리드 AI와 같은 기술 도구를 설명 가능성에 대한 구조적 의사결정 과정에 통합한다.
• 설명 가능성의 사회적 편익을 데이터 저장, 계산 오버헤드, 구현 복잡성 등의 비용과 균형 잡는다.
• 설명 가능성은 규제 및 윤리 기준과 일치하는 핵심 성능 기준이자 안전 요구사항으로 위치시킨다.

제안 방법

• 청중/수신자, 영향/손상 가능성, 규제 프레임워크, 운영 맥락의 네 가지 핵심 맥락적 요인을 식별한다.
• 입력 변형, 시각화 지도, 하이브리드 상징적-기계학습 접근법을 포함한 설명 가능성 기술 도구의 맵핑을 수행한다.
• 저장, 계산, 감사, 법적, 명성, 기회, 모니터링 비용 등을 포함한 일곱 가지 유형의 설명 관련 비용을 평가한다.
• 최적의 글로벌 대비 로컬 설명 수준을 결정하기 위해 비용-편익 분석을 적용하여 총 사회적 편익이 총 비용을 초월하도록 보장한다.
• 독립 규제 기관이 고위험 AI 시스템을 시험하고 인증할 수 있도록, Solvency II와 유사한 위험 평가 및 감독 메커니즘을 제안한다.
• AI 영향 평가를 공식적 메커니즘으로 통합하여 맥락적 요인을 고려하고 맥락에 적합한 설명 가능성 솔루션을 설계한다.

실험 결과

연구 질문

• RQ1 AI 시스템에서 설명 가능성의 수준과 형태를 결정하는 데 있어 어떤 맥락적 요인이 있어야 하는가?
• RQ2 운영 및 규제 필요성에 따라 시각화 지도 및 하이브리드 AI와 같은 기술 도구를 어떻게 선택할 수 있는가?
• RQ3 설명 가능성의 구현에 따른 주요 비용은 무엇이며, 이는 설명 시스템의 타당성과 설계에 어떻게 영향을 미치는가?
• RQ4 고위험 AI 응용 분야에서 설명 가능성은 안전 인증 및 규제 준수와 어떻게 일치시킬 수 있는가?
• RQ5 설명 가능성은 운영적 목적 뿐 아니라 기본 권리 보장 및 시스템 책임성 확보와 같은 윤리적 목적을 얼마나 잘 충족시킬 수 있는가?

주요 결과

• 설명 가능성은 일률적인 요구사항이 아니며, 청중, 위험도, 규제, 운영 필요성에 따라 맥락에 맞게 형태와 깊이를 결정해야 한다.
• 이 프레임워크는 설명 가능성의 일곱 가지 별도의 비용을 규명하였으며, 개별 결정 로그 저장은 로컬 설명의 주요 비용으로 지목된다.
• 기계학습과 상징적 추론을 융합한 하이브리드 AI 접근법은 안전이 중요한 분야에서 설명 가능성과 성능을 동시에 향상시키는 데 유망한 길을 제시한다.
• 특히 고위험 시스템에서는 설명 가능성을 설계 단계에서 통합하여 성능 기준으로 삼아야 하며, 후행 조치로는 고려하지 말아야 한다.
• 금융 및 산업 안전 기준(예: Solvency II)을 모델로 삼은 규제 감독은 위험 평가 및 완화 전략이 강력하고 독립적으로 검증될 수 있도록 보장하는 데 필수적이다.
• AI 영향 평가는 맥락적 요인을 체계적으로 고려하고 적절하고 적합한 수준의 설명 가능성 솔루션을 설계하기 위한 적합한 기관적 메커니즘이다.