[논문 리뷰] TED: Teaching AI to Explain its Decisions

Michael Hind, Dennis Wei외 6명|arXiv (Cornell University)|2018. 11. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 17

한 줄 요약

이 논문은 결정과 인간이 이해할 수 있는 설명을 함께 예측하도록 기계 학습 모델을 훈련시키는 프레임워크인 TED(Teaching Explanations for Decisions)을 소개한다. 이는 레이블이 부여된 결정과 설명의 쌍으로부터 학습한다. 모델 내부 분석 기반 접근 방식과는 달리, TED는 최종 사용자의 인지적 복잡성과 영역 지식에 맞춰 설명을 정렬하여, 예측 정확도를 저하시키지 않은 채 두 가지 실제 사례에서 높은 성능을 달성한다.

ABSTRACT

Artificial intelligence systems are being increasingly deployed due to their potential to increase the efficiency, scale, consistency, fairness, and accuracy of decisions. However, as many of these systems are opaque in their operation, there is a growing demand for such systems to provide explanations for their decisions. Conventional approaches to this problem attempt to expose or discover the inner workings of a machine learning model with the hope that the resulting explanations will be meaningful to the consumer. In contrast, this paper suggests a new approach to this problem. It introduces a simple, practical framework, called Teaching Explanations for Decisions (TED), that provides meaningful explanations that match the mental model of the consumer. We illustrate the generality and effectiveness of this approach with two different examples, resulting in highly accurate explanations with no loss of prediction accuracy for these two examples.

연구 동기 및 목표

• 고위험 분야에서 AI 시스템이 결정에 대해 '의미 있는 정보'를 제공해야 하는 점점 증가하는 사회적 및 규제적 요구에 부응하기 위해.
• 비전문가 사용자에게 이해하기 어려운 내부 모델 메커니즘을 폭 드러내는 모델 내부 분석 기반 접근 방식의 한계를 극복하기 위해.
• 최종 사용자의 인지적 복잡성과 영역 이해 수준에 맞게 맞춤화된 설명을 생성하는 실용적이고 일반화 가능한 프레임워크를 개발하기 위해.
• 기본 기계 학습 모델의 예측 정확도를 손상시키지 않으면서 설명 생성을 보장하기 위해.
• 설명 형식을 모델 아키텍처에서 분리하고 다양한 설명 유형을 허용함으로써 확장성 있고 민첩한 설명 생성을 가능하게 하기 위해.

제안 방법

• 각 샘플에 입력 특징(X), 결정 레이블(Y), 그리고 인간이 제공한 설명(E)이 포함된 데이터셋에서, (Y, E)를 공동 예측 과제로 삼아 연합 분류기( joint classifier)를 훈련한다.
• 결정 레이블(Y)과 설명 옵션(E)의 카티esian 곱을 사용하여, 훈련을 위한 통합 다중 분류 문제를 구성한다.
• 임의의 표준 지도 학습 알고리즘(예: 랜덤 포레스트, 신경망)을 사용하여 입력 X에서 결정 Y와 설명 E로의 연합 매핑을 학습한다.
• 설명이 나열 가능하고 의미적으로 구분되는 한, 텍스트, 기호, 또는 구조화된 형식의 어떤 형식이든 허용한다.
• 다양한 사용자 전문성 수준에 맞게 동일한 결정에 대해 여러 설명 변형을 제공함으로써 설명의 개인화를 지원한다.
• 어휘 임베딩 또는 도메인 전용 언어(DSL)와 같은 기법을 활용하여 설명의 다양성을 관리하고 유사한 설명 간의 일반화를 향상시킨다.

실험 결과

연구 질문

• RQ1 AI 시스템은 정확성 외에도 비전문가 사용자에게 의미 있고 이해하기 쉬운 설명을 어떻게 생성할 수 있는가?
• RQ2 기계 학습 모델을 훈련시켜 의도한 청중의 인지적 복잡성과 도메인 지식에 맞는 설명을 생성할 수 있는가?
• RQ3 기존의 모델-설명 분리 방식과 비교해 병행하여 결정과 설명을 훈련할 경우, 모델의 예측 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 사용자 프로파일과 응용 분야에서 효율적이고 확장 가능한 설명 생성은 어떻게 달성할 수 있는가?
• RQ5 완전한 인간 레이블링 설명이 확보되지 않은 경우, 설명 데이터셋을 구성하거나 강화하기 위한 전략은 무엇인가?

주요 결과

• TED 프레임워크는 최종 사용자의 정신 모델과 매우 잘 맞는 설명을 성공적으로 생성하여, 예측 정확도를 저하시키지 않은 채 신뢰도와 해석 가능성의 향상을 이룬다.
• 두 가지 실제 사례에서, 연합 예측 모델은 결정 예측과 설명 생성 양 측면에서 높은 정확도를 달성했으며, 표준 모델과 비교해 성능 저하가 없었다.
• 이 접근 방식은 일반성과 단순성의 특성을 보이며, 자유 텍스트 및 구조화된 설명을 포함한 다양한 도메인과 설명 형식에서 효과적으로 작동한다.
• 프레임워크는 동일한 결정에 대해 다양한 전문성 수준의 사용자에게 적합한 여러 설명 변형을 제공함으로써 개인화를 지원한다.
• 공동 학습을 위한 카티esian 곱 접근 방식은 설명 옵션이 많아져도 실제로 효과적으로 스케일업되며, 계산적으로도 타당한 수준을 유지한다.
• 외부 지식 소스 사용, 소수의 예제 학습, 또는 능동 학습과 같은 향후 확장 전략은 설명 데이터 수집의 레이블링 부담을 줄이는 데 기여할 수 있다.