[논문 리뷰] Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems

Jeff Druce, Michael Harradon외 1명|arXiv (Cornell University)|2021. 06. 07.

Explainable Artificial Intelligence (XAI)인용 수 13

한 줄 요약

이 논문은 블랙박스 딥 강화학습(DRL) 기반 자율 시스템의 사용자 신뢰를 향상시키기 위해 시각적 상태 성능(가치 추정 오차), 일반화 능력(가 ближайшего обуча 샘플까지의 거리), 그리고 서사적 해석을 포함하는 세 가지 설명을 제공하는 XAI 프레임워크를 제안한다. 사용자 연구 결과, XAI 인터페이스를 통해 사용자 수용도가 통계적으로 유의미하게 증가했으며(p = 0.03), 신뢰도 향상은 미미했고 항상 유의미하지는 않았다.

ABSTRACT

We consider the problem of providing users of deep Reinforcement Learning (RL) based systems with a better understanding of when their output can be trusted. We offer an explainable artificial intelligence (XAI) framework that provides a three-fold explanation: a graphical depiction of the systems generalization and performance in the current game state, how well the agent would play in semantically similar environments, and a narrative explanation of what the graphical information implies. We created a user-interface for our XAI framework and evaluated its efficacy via a human-user experiment. The results demonstrate a statistically significant increase in user trust and acceptance of the AI system with explanation, versus the AI system without explanation.

연구 동기 및 목표

• 블랙박스 딥 강화학습(DRL) 에이전트의 결정 과정이 투명하지 않아 발생하는 사용자 신뢰 부족 문제를 해결하기 위해.
• DRL 에이전트의 현재 성능과 일반화 능력을 모두 설명하는 XAI 프레임워크를 개발하기 위해.
• 이러한 설명이 자율 시스템에서 사용자 신뢰와 수용도를 향상시키는지 평가하기 위해.
• 사용자에게 설명 가능한 통찰을 제공할 경우 DRL 에이전트에 대한 더 나은 정신 모델을 형성할 수 있는지 조사하기 위해.

제안 방법

• 프레임워크는 DRL 에이전트의 상태 가치 예측 정확도를 측정하기 위해 가치 추정 오차(VEE)를 사용한다.
• 현재 환경가 훈련 데이터와 얼마나 유사한지 평가하기 위해 가장 가까운 훈련 샘플까지의 거리(DNTS)를 계산한다.
• 실시간 게임 플레이 중에 VEE와 DNTS 지표를 시각적으로 표현하는 그래픽 인터페이스를 구현한다.
• 시각화된 지표를 해석하는 서사적 설명을 통해 사용자가 에이전트 신뢰성 이해를 돕는다.
• 인간 대상 실험을 통해 DRL 에이전트에 XAI 인터페이스를 적용한 경우와 적용하지 않은 경우를 비교 평가하였다.
• 사용자 신뢰와 수용도는 신뢰, 사용성, 예측 정확도에 대한 5점 리커트 척도 설문지를 통해 측정하였다.

실험 결과

연구 질문

• RQ1 DRL 에이전트 성능과 일반화 능력에 대한 설명을 제공할 경우 사용자 신뢰가 향상되는가?
• RQ2 시각적 및 서사적 설명을 통해 사용자가 에이전트 행동을 더 잘 예측할 수 있는가?
• RQ3 XAI 인터페이스는 사용자 인지에 있어 에이전트 신뢰성과 일관성에 어떤 영향을 미치는가?
• RQ4 비설명형 인터페이스에 비해 XAI 프레임워크는 사용자 수용도를 어느 정도 향상시키는가?
• RQ5 설명 제공가 사용자 정신 모델의 정확도 향상에 기여하는가?

주요 결과

• XAI 인터페이스 적용 시 사용자 수용도가 통계적으로 유의미하게 증가했으며(p = 0.03), 평균 점수는 설명 없음 조건(2.67) 대비 4.02로 상승했다.
• XAI 인터페이스 적용 시 신뢰 점수는 3.32로 상승했지만, 설명 없음 조건(2.6)과의 차이가 통계적으로 유의미하지 않았다(p = 0.058).
• 사용성 및 유용성 점수 평균은 4.01로 중립 척도 기준 3을 초과하여 강력한 인지된 유용성을 나타냈다.
• 설명 만족도 평균은 3.53으로 중립 기준을 초과하여 사용자들이 설명을 의미 있게 느꼈다는 것을 시사했다.
• 설명 제공로도 예측 정확도는 유의미하게 향상되지 않아 사용자들이 에이전트 능력에 대한 정신 모델을 크게 향상시키지 못했다.
• 결과적으로 설명은 수용도 향상에 기여하지만, 신뢰도 및 예측 이해도 향상에 대한 영향은 크기가 제한되어 있음을 시사한다.