[논문 리뷰] Explaining Explanations to Society

Leilani H. Gilpin, Cecilia Testart외 2명|arXiv (Cornell University)|2019. 01. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 13

한 줄 요약

이 논문은 AI 전문가를 대상으로 한 기술적·모델 중심의 설명('내부 설명')과 사회적 '왜' 질문, 즉 책임성과 인과관계에 대한 명확하고 실행 가능하며 신뢰할 수 있는 답변을 요구하는 '외부 설명' 사이의 차이를 구분한다. 기존의 XAI 기법들이 자율주행차나 헬스케어와 같은 고위험 분야에서 사회적 요구를 충족하지 못하고 있음을 지적하며, 투명성, 감사 가능성, 대중 신뢰 확보를 위해 '왜' 질문에 답할 수 있도록 탐색 가능한 새로운 설명 가능 AI 시스템의 필요성을 주장한다.

ABSTRACT

There is a disconnect between explanatory artificial intelligence (XAI) methods and the types of explanations that are useful for and demanded by society (policy makers, government officials, etc.) Questions that experts in artificial intelligence (AI) ask opaque systems provide inside explanations, focused on debugging, reliability, and validation. These are different from those that society will ask of these systems to build trust and confidence in their decisions. Although explanatory AI systems can answer many questions that experts desire, they often don't explain why they made decisions in a way that is precise (true to the model) and understandable to humans. These outside explanations can be used to build trust, comply with regulatory and policy changes, and act as external validation. In this paper, we focus on XAI methods for deep neural networks (DNNs) because of DNNs' use in decision-making and inherent opacity. We explore the types of questions that explanatory DNN systems can answer and discuss challenges in building explanatory systems that provide outside explanations for societal requirements and benefit.

연구 동기 및 목표

• 기존 XAI 기법이 기술적 디버깅과 검증을 위해 쓰이지만, 실제 사회적 요구인 AI 결정에 대한 '왜' 질문에 답할 수는 없는 핵심적 괴리점을 규명하는 것.
• 딥 뉴럴 네트워크(DNN)의 맥락에서 '내부 설명'(기술적, 모델 중심)과 '외부 설명'(사회적, 인과관계 중심, 책임성 중심)을 정의하고 차이를 명확히 하는 것.
• 안전이 중요한 시스템에서의 책임 소재, 공정성, 사고 조사와 같은 실제 사회적 우려 사항을 해결하는 데 있어 기존 XAI 기법의 한계를 부각하는 것.
• 설명 가능 AI가 해석 가능성 이상의 기능을 가져야 하며, 탐색, 피드백, 감사 가능성 지원을 통해 대중 신뢰를 구축하고 구제 조치를 가능하게 해야 한다는 주장.
• 비전문가 사용자, 규제 기관, 정책 입안자에게도 답할 수 있는 정확하고도 이해 가능한 설명을 제공하는 DNN 설명 시스템 설계를 위한 향후 연구 동기를 제시하는 것.

제안 방법

• 모델 내부에 초점을 맞춘 설명(예: 주의 맵, 중요도 지도, 특징 기여도 등)을 '내부 설명'으로, 인과적 추론, 책임성, 사회적 신뢰에 초점을 맞춘 설명을 '외부 설명'으로 구분하는 것.
• 기존의 설명 유형 분류 체계를 확장하여 각 유형이 어떤 질문에 답할 수 있고, 어떤 질문에는 답할 수 없는지 분석하는 것. 특히 '왜' 질문에 대한 반응을 중심으로 분석.
• Uber 자율주행차 사고와 아마존 채용 알고리즘의 편향 사례와 같은 실제 사례를 분석하여, 현재의 설명 시스템이 근본 원인에 대한 책임 소재를 해결하지 못하는 실패 사례를 보여주는 것.
• 전문가가 아닌 사용자와 규제 기관으로부터의 피드백에 반응하고, 감사 가능하고 탐색 가능한 시스템의 필요성을 강조하는 것.
• 모델 행동이 훈련 데이터 또는 실제 세계 기대와 일치하지 않을 경우를 탐지하기 위해 향상된 민감도 분석과 인과적 추론을 지원하는 설계가 필요하다는 제안.
• 설명 시스템의 설계 철학을 모델 중심 디버깅에서 사용자 중심 설명으로 전환할 것. 설명은 정확하고 진실되며 비전문가가 이해할 수 있어야 한다는 주장.

실험 결과

연구 질문

• RQ1 고위험 분야에서 사회 및 정책 입안자들이 실제로 AI 결정에 대해 해결하고자 하는 질문의 유형은 무엇인가?
• RQ2 기존 XAI 기법이 왜 기술적으로 정확하면서도 사회적으로 의미 있는 설명을 제공하지 못하는가?
• RQ3 딥 뉴럴 네트워크 설명은 어떻게 설계되어야 하며, 실제 사고에서 인과관계, 책임성, 방지 가능성과 관련된 '왜' 질문에 답할 수 있는가?
• RQ4 모델 수준의 해석 가능성 이상으로 사회적 질문에 대응할 수 있도록 AI 시스템을 탐색하고 반응 가능하게 만들기 위해 필요한 기술적·아키텍처적 변화는 무엇인가?
• RQ5 시스템 장애나 편향 발생 시, 설명이 비전문가에게도 이해 가능하면서도 모델에 충실한 진실성(신뢰성)을 유지할 수 있는 방법은 무엇인가?

주요 결과

• 기존 XAI 기법은 주로 모델 내부에 초점을 맞춘 '내부 설명'을 생성하며, 예를 들어 특징 중요도나 주의 맵을 포함한다. 이러한 설명은 사회적 신뢰와 책임성 확보에는 부족하다.
• 규제 기관, 보험사, AI 실패의 피해자와 같은 사회적 이해관계자들은 '왜 사고가 발생했는가?', '그 사고는 피할 수 있었는가?'와 같은 '왜' 질문에 답할 수 있는 '외부 설명'이 필요로 한다.
• Uber 자율주행차 사고의 경우, 보행자 탐지에서의 잘못된 양성 반응이 근본 원인이었지만, 명확하고 추적 가능한 설명이 없어 책임 소재 규명과 조사가 지연되었다. 이는 설명 가능한 시스템의 필요성을 강력히 보여준다.
• 아마존 채용 알고리즘은 편향된 훈련 데이터로 인해 남성 지원자를 선호하는 경향을 보였으며, 높은 정확도를 유지했음에도 불구하고 문제적 특징(예: 성별에 기반한 언어 사용)이 탐지되지 않았다. 이는 투명하지도 않고 설명할 수 없는 모델이 초래하는 위험을 보여준다.
• 매우 정확한 모델이라도, 암 존재 여부가 아니라 스캐너 해상도와 같은 표면적 관련성에 기반해 결정을 내릴 수 있다. 이러한 문제는 깊이 있는 탐색과 인과 분석를 통해야만 드러난다.
• 진정한 AI에 대한 신뢰는 설명 외에도 감사 가능성, 피드백 수용 능력, 결함 수정 가능성까지 포함되어야 하며, 이러한 기능들은 현재 대부분의 XAI 시스템에 존재하지 않는다.