[논문 리뷰] Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Black Box Simulators

Sarath Sreedharan, Utkarsh Soni외 3명|arXiv (Cornell University)|2020. 02. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 7

한 줄 요약

이 논문은 블랙박스 시뮬레이터를 사용하여 순차적 의사결정 AI 시스템에 대해 대조적이고 사용자 우호적인 설명을 생성하는 방법을 제안한다. 시뮬레이터 상호작용을 통해 부분적인 기호 모델을 구성함으로써, 사용자가 지정한 개념에 기반한 설명을 가능하게 하며, Montezuma's Revenge와 Sokoban에서의 사용자 연구를 통해 사용자 이해도와 신뢰도 향상이 확인되었다.

ABSTRACT

As increasingly complex AI systems are introduced into our daily lives, it becomes important for such systems to be capable of explaining the rationale for their decisions and allowing users to contest these decisions. A significant hurdle to allowing for such explanatory dialogue could be the vocabulary mismatch between the user and the AI system. This paper introduces methods for providing contrastive explanations in terms of user-specified concepts for sequential decision-making settings where the system's model of the task may be best represented as a blackbox simulator. We do this by building partial symbolic models of the task that can be leveraged to answer the user queries. We empirically test these methods on a popular Atari game (Montezuma's Revenge) and modified versions of Sokoban (a well known planning benchmark) and report the results of user studies to evaluate whether people find explanations generated in this form useful.

연구 동기 및 목표

• 순차적 의사결정에서 사용자와 AI 시스템 간의 어휘 불일치 문제를 해결하기 위해.
• 사용자가 지정한 개념에 기반한 대조적이고 사후적 설명을 가능하게 하기 위해.
• 블랙박스 시뮬레이터에서 파생된 부분적인 기호 모델을 생성하여 설명 생성을 위한 방법을 개발하기 위해.
• 해당 설명이 사용자 이해도와 AI 결정에 대한 신뢰도를 향상시키는지 평가하기 위해.
• Atari 및 Sokoban 환경에서 사용자 연구를 통해 접근법을 실증적으로 테스트하기 위해.

제안 방법

• 해당 방법은 다양한 트레이젝터리를 시뮬레이터에 입력하여 상태-행동 패턴을 추출함으로써, 블랙박스 시뮬레이터로부터 부분적인 기호 모델을 구성한다.
• 사용자가 제공한 용어를 통해 사용자가 지정한 개념을 식별하고, 이를 시뮬레이터의 관측된 상태 특징에 매핑한다.
• 성공적이고 실패한 트레이젝터리 간의 비교를 통해 대조적 설명을 생성하며, 특정 개념이 의사결정 결과에 미치는 영향을 부각한다.
• 관련 개념에 집중하기 위해 기호 모델을 정제하고 추상화함으로써 해석 가능성과 향상한다.
• 사용자 질의에 대응하여 기호 모델과 시뮬레이터 로그를 활용해 설명을 즉시 생성한다.
• 모방 학습과 개념 채굴 기법을 활용하여 시뮬레이터 행동으로부터 기호 규칙을 추론한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 개념에 기반한 대조적 설명이 순차적 작업에서 AI 결정 이해도를 향상시키는가?
• RQ2 블랙박스 시뮬레이터에서 유도된 부분적인 기호 모델로부터 생성된 설명의 효과성은 어떠한가?
• RQ3 사용자들은 블랙박스 출력보다 이러한 설명을 더 신뢰하고 도전 가능하다고 느끼는가?
• RQ4 다양한 개념 표현 방식이 설명의 품질과 명확성에 어떤 영향을 미치는가?
• RQ5 설명 품질이 상호작용 기반 AI 시스템에서 사용자 성과 및 의사결정에 어떤 영향을 미치는가?

주요 결과

• 사용자들은 자신이 지정한 개념에 기반한 대조적 설명을 기존 기반 설명보다 훨씬 더 유용하다고 평가했다.
• 이 방법은 Montezuma's Revenge와 Sokoban에서 물체 간 거리 및 행동 순서와 같은 핵심 의사결정 요소를 부각한 설명을 성공적으로 생성했다.
• 사용자 연구 결과, 설명이 익숙한 사용자 정의 개념을 반영할 경우 AI 결정 이해도가 향상됨을 확인했다.
• 부분적인 기호 모델은 전체 모델의 투명성 없이도 정확하고 간결한 설명을 가능하게 했다.
• 대조적 설명이 사용자가 자신의 개념어 언어로 제공되면, 사용자는 AI 결정을 더 자주 도전하거나 개선하고자 했다.
• 이 접근법은 블랙박스 시뮬레이터를 활용한 복잡하고 장기적인 의사결정 과제에서 확장성과 효과성을 입증했다.