[논문 리뷰] Harnessing Explanations to Bridge AI and Humans

Vivian Lai, Samuel Carton외 1명|arXiv (Cornell University)|2020. 03. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 13인용 수 6

한 줄 요약

이 논문은 현재의 AI 설명이 인간의 의사결정을 향상시키지 못하는 이유로, 모델 설명과 인간의 정서적 모델 간의 괴리 때문이라고 주장한다. 이는 모델 기반 튜토리얼과 상호작용 가능한 설명을 통해 인간의 이해를 증진시키는 것, 그리고 자연어나 예시 기반 형식을 활용해 인간의 인지 구조와 더 잘 맞는 설명을 재설계하는 것과 같은 두 가지 핵심 연구 방향을 제안한다.

ABSTRACT

Machine learning models are increasingly integrated into societally critical applications such as recidivism prediction and medical diagnosis, thanks to their superior predictive power. In these applications, however, full automation is often not desired due to ethical and legal concerns. The research community has thus ventured into developing interpretable methods that explain machine predictions. While these explanations are meant to assist humans in understanding machine predictions and thereby allowing humans to make better decisions, this hypothesis is not supported in many recent studies. To improve human decision-making with AI assistance, we propose future directions for closing the gap between the efficacy of explanations and improvement in human performance.

연구 동기 및 목표

• 범죄 재범 예측이나 의료 진단과 같은 고위험 응용 분야에서 AI 설명이 인간의 의사결정 정확도를 향상시키지 못하는 지속적인 실패를 해결하기 위해.
• 특히 이론적으로는 유망한 설명 방법(예: 특성 기여도)이 인간 성능을 일관되게 향상시키지 못하는 이유를 조사하기 위해.
• 모델 예측에 대한 효과적인 인간 감시와 비판적 평가를 가능하게 하기 위해, AI 설명을 인간의 인지 모델과 재정렬하는 데 목표를 두는 새로운 연구 방향을 제안하기 위해.
• 모델의 정밀도를 최적화하는 데서 벗어나 인간의 이해, 추론 및 신뢰를 최적화하는 데 초점을 맞춘 설명 설계로의 전환을 위해.
• 특성 기여도 외의 대체 설명 형식(예: 자연어, 예시 기반)이 탐색 중심 작업에서 인간의 이해를 더 잘 지원할 수 있는지 탐색하기 위해.

제안 방법

• 사람들이 강한 직관을 갖지 못하는 영역에서 AI 모델이 학습한 비직관적인 패턴을 가르치는 모델 기반 튜토리얼을 제안한다.
• 사용자가 입력을 수정하고 모델 예측의 변화를 관찰할 수 있도록 허용하는 상호작용 가능한 설명을 도입한다. 이를 통해 능동적 학습과 모델 이해도를 향상시킨다.
• 분포 변화 상황에서의 모델 일반화를 평가하도록 주장한다. 이 경우 인간은 모델이 간과한 인과관계 없는 연관성을 탐지하고 수정할 수 있다.
• 정적 특성 기여도에서 벗어나 인간의 추론과 의사결정 근거를 반영하는 동적이고 의사소통 중심의 도구로 설명 설계를 전환한다.
• 특성 기여도가 인간 감시를 지원하지 못할 수 있는 상황에서, 자연어나 예시 기반 설명과 같은 대체 설명 형식을 탐색한다.
• 설명을 정적 진단 도구로 보는 관점을 넘어서, 알려진 모델 오류에 대응하여 모델 비판 도구로 재구성함으로써 반복적 학습과 개선을 지원한다.

실험 결과

연구 질문

• RQ1 고위험 분야에서 이론적으로 가치가 있는 AI 설명이 인간의 의사결정 정확도를 향상시키지 못하는 이유는 무엇인가?
• RQ2 인간의 정서적 모델과 모델 설명 간의 괴리가 효과적인 인간-AI 협업을 얼마나 방해하는가?
• RQ3 상호작용형 또는 튜토리얼 기반의 설명 시스템이 복잡하고 비직관적인 모델 행동을 이해하는 데 인간의 이해를 향상시킬 수 있는가?
• RQ4 어떻게 설명을 재설계하여 인간의 추론 과정, 특히 탐색 중심 작업에서 더 잘 맞출 수 있는가?
• RQ5 특성 기여도 외의 대체 설명 형식(예: 자연어, 예시)이 인간 감시와 비판적 판단을 지원하는 데 더 뛰어난가?

주요 결과

• 특성 기여도와 같은 기존 설명 방법은 모델 성능이 인간 기준을 초월하더라도 인간의 의사결정 정확도를 일관되게 향상시키지 못한다.
• 설명은 잘못된 예측을 거부하는 데에는 유용하지만, 빠진 예측을 탐지하는 데에는 오히려 악영향을 미치며, 이는 사용자가 잘못된 예측을 거부하는 데는 능숙하지만 빠진 예측을 탐지하는 데는 어려움을 겪음을 시사한다.
• 탐색 작업에서는 인간이 단순한 설명을 해석할 수 있는 강한 직관을 갖지 못하는 경우가 많아, 교육 또는 대체 설명 형식이 필요하다는 것을 시사한다.
• 모델 설명은 종종 인간의 인지 모델과 일치하지 않아 효과적인 인간-AI 협업을 방해하는 근본적인 장벽이 된다.
• 예를 들어 입력을 상호작용적으로 조작할 수 있는 활동적 학습을 지원하는 설명은 정적이고 수동적인 설명보다 모델 이해도를 높일 수 있다.
• 설명 설계를 모델 정밀도에서 인간 중심의 의사소통으로 전환할 필요가 매우 크며, 인간의 추론과 의사결정 과정에서의 통찰을 통합해야 한다.