[논문 리뷰] Explainable artificial intelligence (XAI), the goodness criteria and the grasp-ability test

Tae Wan Kim|arXiv (Cornell University)|2018. 10. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 3인용 수 7

한 줄 요약

이 논문은 설명 가능 AI(XAI)에서 설명의 품질을 평가하기 위한 비주관적이고 실용적인 프레임워크로 '이해 가능성 테스트(Grasp-ability Test)'를 도입한다. 좋은 설명은 사용자가 반시제 질문에 정확히 답할 수 있도록 하고, 중간 정도의 사실적 정확성을 유지하며, 지식적 우연을 피해야 한다. 이를 통해 다양한 도메인에서 XAI 설명을 비교할 수 있는 검증 가능한 기준을 제시한다.

ABSTRACT

This paper introduces the "grasp-ability test" as a "goodness" criteria by which to compare which explanation is more or less meaningful than others for users to understand the automated algorithmic data processing.

연구 동기 및 목표

• XAI 설명 평가를 위한 표준화된 '좋음' 기준의 부재를 해결하기 위해.
• AI에서 진술 중심(진리 중심) 이론에서 사용자 이해 가능성을 중심으로 한 실용적 이론으로의 전환을 위해.
• 다양한 청중이 이해하고 활용할 수 있도록 의미 있고 유의미한 설명을 보장하는 비주관적 프레임워크를 개발하기 위해.
• 다양한 응용 분야와 사용자 집단 간 XAI 설명을 비교할 수 있는 검증 가능한 방법을 제공하기 위해.
• 검증 가능하고 사용자 중심의 평가를 통해 규제 및 윤리적 요구사항을 지원하기 위해.

제안 방법

• 반시제 조건, 중간 정도의 사실적 조건, 우연 없음 조건으로 구성된 세 부분으로 이루어진 '이해 가능성 테스트' 평가 프레임워크를 제안한다.
• 사용자가 설명을 바탕으로 다른 시나리오를 추론할 수 있는지 테스트하기 위해 반시제 질문(예: '새가 검은 날개를 가졌다면 어떻게 되었을까?')을 사용한다.
• 설명이 AI의 내부 논리에 합리적으로 근거를 두고 있음을 보장하기 위해 중간 정도의 사실적 조건을 적용한다. 이는 완벽한 과학적 정밀도를 요구하지는 않는다.
• 동일한 질문의 다양한 변형을 통해 일관성을 테스트함으로써 우연에 의한 정답을 방지하기 위해 우연 없음 조건을 구현한다.
• 실제 XAI 사례(예: 이미지 분류, 모기지 승인의 편향)에 프레임워크를 적용하여 사용성 검증을 수행한다.
• 사용자 이해도에 따라 명제적(텍스트 기반) 및 비명제적(시각적, 다이어그램 기반) 표현 방식을 모두 유효한 설명 형식으로 인정한다.

실험 결과

연구 질문

• RQ1 사용자 전문 지식 수준이 다를 때, 서로 다른 XAI 설명의 품질을 어떻게 객관적으로 비교할 수 있는가?
• RQ2 기술적으로 올바른 설명 외에 무엇이 사용자에게 실질적으로 이해 가능하게 만들 수 있는가?
• RQ3 XAI 환경에서 실용적 설명 이론을 비주관적이고 경험적으로 검증 가능한 것으로 만들 수 있는가?
• RQ4 반시제 추론, 사실적 정확도, 응답 일관성이 AI 결정에 대한 진정한 이해를 얼마나 잘 예측하는가?
• RQ5 이해 가능성 테스트는 모기지 승인과 같은 고위험 시스템에서 알고리즘 편향을 탐지하고 설명하는 데 어떻게 적용될 수 있는가?

주요 결과

• 이해 가능성 테스트는 사용자가 다른 시나리오를 추론할 수 있는 능력을 측정함으로써 비주관적이고 사용자 중심의 기준을 제공한다.
• 이해 가능성 테스트에 통과한 설명은 입력 특성의 변화가 AI 출력에 어떤 영향을 미칠지 예측할 수 있도록 사용자가 반시제 질문에 정확히 답할 수 있도록 한다.
• 중간 정도의 사실적 조건은 완벽한 과학적 정밀도가 필요로 하지 않기 때문에 비전문가 사용자에게도 접근성이 높은 설명을 보장한다.
• 우연 없음 조건은 동일한 질문의 다양한 변형에서 일관된 성과를 요구함으로써 사용자가 우연에 의해 설명을 이해하는 것처럼 보이는 것을 방지한다.
• 이 프레임워크는 잘못된 시각화(예: 진화 교육에서의 오해 유발 시각 자료)나 대출에서의 편향된 AI 결정과 같이 기술적으로는 올바르지만 진정한 이해를 지원하지 못하는 잘못된 설명을 효과적으로 식별한다.
• 이해 가능성 테스트는 이미지 분류나 신용 평가와 같은 다양한 도메인에 적용되어, 영향을 받는 사용자가 이해할 수 있는 방식으로 알고리즘 편향을 탐지하고 설명할 수 있다.