[논문 리뷰] A Human-Centric Assessment Framework for AI

Sascha Saralajew, Ammar Shaker외 6명|arXiv (Cornell University)|2022. 05. 25.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 빈도수, 통제된 실험에서 인간 전문가의 해결책 수용률과 비교하여 AI 시스템을 평가하는 인간 중심의 평가 프레임워크를 제안한다. 주어진 해결책이 인간 전문가의 것인지 AI의 것인지 알지 못한 채 리더 전문가가 수용하는 빈도를 측정함으로써, 이 프레임워크는 AI 성능과 설명 가능성의 품질을 정량화하며, 기존 평가 방법에 비해 편향에 강건한 보다 견고한 대안을 제공한다.

ABSTRACT

With the rise of AI systems in real-world applications comes the need for reliable and trustworthy AI. An essential aspect of this are explainable AI systems. However, there is no agreed standard on how explainable AI systems should be assessed. Inspired by the Turing test, we introduce a human-centric assessment framework where a leading domain expert accepts or rejects the solutions of an AI system and another domain expert. By comparing the acceptance rates of provided solutions, we can assess how the AI system performs compared to the domain expert, and whether the AI system's explanations (if provided) are human-understandable. This setup -- comparable to the Turing test -- can serve as a framework for a wide range of human-centric AI system assessments. We demonstrate this by presenting two instantiations: (1) an assessment that measures the classification accuracy of a system with the option to incorporate label uncertainties; (2) an assessment where the usefulness of provided explanations is determined in a human-centric manner.

연구 동기 및 목표

• 설명 가능 AI 시스템에 대한 표준화되고 인간 중심의 평가 방법의 부족을 해결하기 위해.
• 사용자가 AI를 인식함에 따라 발생할 수 있는 편향 없이 인간 전문가와의 공정한 비교를 가능하게 하는 프레임워크를 구축하기 위해.
• 실제 의사결정 환경에서 AI의 정확도와 설명의 유용성을 평가할 수 있도록 하기 위해.
• 사람의 정신적 시뮬레이션에 의존하고 초인적 성능를 평가할 수 없는 기존의 대체 지표(예: 재현 가능성, 메타예측 모델)의 한계를 극복하기 위해.
• 의료나 법적 분야와 같은 고위험 응용 분야에서 AI 시스템을 검증하기 위한 일반화 가능하고 도메인에 관계없는 방법을 제공하기 위해.

제안 방법

• 리더 전문가(L), 인간 전문가(E), AI 시스템(S)으로 구성된 3인 전문가 설정으로, 작업이 E 또는 S에 무작위로 할당되며 L은 소스를 모른다.
• 해결책은 사전 정의된 승인 지침에 따라 리더 전문가에 의해 평가되며, 수용 여부는 해결자(E 또는 S)에 따라 매핑된다.
• 수용율은 경험적으로 계산되며, $ p_S = \frac{1}{\#\mathrm{T}_S} \sum_{\tau \in \mathrm{T}_S} L(\tau, S(\tau)) $ 및 $ p_E = \frac{1}{\#\mathrm{T}_E} \sum_{\tau \in \mathrm{T}_E} L(\tau, E(\tau)) $ 로 표현된다.
• 프레임워크는 두 가지 방식으로 구현된다: (1) 레이블 불확실성을 고려한 분류 정확도 측정, (2) 시간 제약 하에서의 설명 유용성 평가.
• 리더 전문가는 빠른 결정을 내려야 하며, 설명은 시기적절하고 정확한 판단을 가능하게 해야만 수용된다.
• 리더 전문가가 해결책의 출처(인간 또는 AI)를 모른다는 점을 보장함으로써, 이 방법은 편향을 방지한다.

실험 결과

연구 질문

• RQ1 지표 레이블이나 인간의 시뮬레이션에 의존하지 않고도 인간 중심의 프레임워크가 AI 성능을 신뢰성 있게 평가할 수 있는가?
• RQ2 실제 활용성과 반영된 방식으로 AI 설명의 유용성을 정량적으로 측정할 수 있는 방법은 무엇인가?
• RQ3 블라인드 설정에서 리더 전문가가 평가할 경우, 도메인 특화 작업에서 AI 시스템이 인간 전문가를 초월할 정도로 성능을 냈을 가능성은 어느 정도인가?
• RQ4 시간 제약 하에서 설명의 존재가 전문가의 의사결정 속도와 정확도를 향상시키는가?
• RQ5 이 프레임워크는 기존 정확도 지표가 포착하지 못하는 초인적 성능를 보이는 AI 시스템을 탐지할 수 있는가?

주요 결과

• 이 프레임워크는 빈도수 실험 설정에서 AI와 인간 전문가의 수용률을 비교함으로써 편향 없고 인간 중심의 AI 시스템 평가를 가능하게 한다.
• 이 방법은 확률적 수용 임계값을 통해 레이블 불확실성을 통합함으로써 표준 분류 정확도를 일반화한다.
• 시간 압박 하에서 설명이 더 빠르고 정확한 결정을 가능하게 하는지 측정함으로써, 설명의 유용성을 평가할 수 있다.
• 리더 전문가가 빠른 판단을 내려야 하므로, 이 프레임워크는 설명이 실제로 유용한지 이론적 수준이 아닌 실질적인 맥락에서 드러낸다.
• 기존 방법(예: 메타예측, 재현 가능성)에서 발생하는 편향을 피함으로써, 인간의 정신적 시뮬레이션에 의존하고 초인적 AI 능력을 탐지하지 못할 수 있는 문제를 해결한다.
• 이 프레임워크는 인간 성능을 초월하는 AI 시스템의 평가를 가능하게 하며, 이는 기존 설명 가능성 평가 방법의 한계를 극복한다.