[논문 리뷰] The Emerging Landscape of Explainable AI Planning and Decision Making

Tathagata Chakraborti, Sarath Sreedharan외 1명|arXiv (Cornell University)|2020. 02. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 52인용 수 19

한 줄 요약

이 논문은 인간-AI 협업과 신뢰성 요구 증가에 대응하여 자동 계획 분야에서 설명 가능성 기술의 진화를 맵핑하는 종합적 서베이를 제공한다. 기존의 모델 기반 접근법에서 현대적인 인간-중심 시스템으로의 전환을 다루며, 최종 사용자, 도메인 설계자, 알고리즘 설계자라는 주요 인물 유형을 규명하고, 계획 차원을 아우르는 설명 프레임워크를 제시하며, 설명 가능성 통합, 추론 과정 내에서의 설명 가능성 강화 등의 새로운 추세를 강조한다. 이는 설명 가능한 계획 수립이 인간-AI 협업에 실현 가능하고 유익하다는 것을 보여준다.

ABSTRACT

In this paper, we provide a comprehensive outline of the different threads of work in Explainable AI Planning (XAIP) that has emerged as a focus area in the last couple of years and contrast that with earlier efforts in the field in terms of techniques, target users, and delivery mechanisms. We hope that the survey will provide guidance to new researchers in automated planning towards the role of explanations in the effective design of human-in-the-loop systems, as well as provide the established researcher with some perspective on the evolution of the exciting world of explainable planning.

연구 동기 및 목표

• growing demands for human-AI collaboration and trust에 대응하여 설명 가능한 AI 계획(XAIP)의 진화하는 환경을 맵핑하기 위해.
• 기존의 설명 가능한 AI 노력과 대비하여 현대적 XAIP 접근법의 기술, 대상 사용자, 제공 방식의 변화를 강조하기 위해.
• 최종 사용자, 도메인 설계자, 알고리즘 설계자의 역할이 설명 요구사항을 어떻게 형성하는지 규명하고 분석하기 위해.
• 요약, 언어화, 정신 모델 조율 등의 기법을 포함한 계획 기반 설명 기법을 서베이하기 위해.
• 설명 가능성 통합을 계획 과정 자체에 통합하는 등의 새로운 추세를 탐색하여, 투명성과 효율성 향상 가능성을 탐색하기 위해.

제안 방법

• 최종 사용자, 도메인 설계자, 알고리즘 설계자라는 세 가지 유형의 사용자 인물에 기반한 설명 수요를 분류한다.
• 표준 자동 계획 프레임워크를 사용하여 계획 작업을 형식화하며, 메타-계획 또는 실패 분석이 아닌 계획 설명에 집중한다.
• 공백 정신 모델과의 모델 조율을 통해 최소한의 인과적 연결 하위집합을 식별하여 각 행동의 정당화를 위한 계획 요약 기법을 제안한다.
• 스케일이 가능하고 사용자가 탐색할 수 있는 계획 표현을 가능하게 하는 추상화 기법—즉, 상태 추상화(낮은 중요도 특성 제거) 및 시간 추상화(하위목표 추출)—를 적용한다.
• 심리학적 및 계산 모델(예: 역강화학습, 모방학습)을 활용하여 사용자가 작업 지식을 기반으로 완성할 수 있는 부분 계획을 생성한다.
• 설명 요구사항을 탐색 과정에 통합하여 추론 단계에 설명 가능성을 통합하는 방법을 제안하며, 이는 계산적으로 실현 가능하다는 것을 보여준다 (exact2020).

실험 결과

연구 질문

• RQ1 기존 XAI 노력과 비교해 설명 가능한 계획의 기술, 대상 사용자, 제공 방식은 어떻게 진화해 왔는가?
• RQ2 자동 계획 시스템에서 최종 사용자, 도메인 설계자, 알고리즘 설계자의 설명 수요와 기대는 각각 어떻게 다를까?
• RQ3 계획 요약 및 언어화 기법은 장기적 또는 복잡한 계획의 이해 가능성을 어떻게 향상시킬 수 있는가?
• RQ4 결정 설명 요구사항을 계획 과정 자체에 통합할 경우 효율성 손실 없이 어느 정도까지 실현 가능한가?
• RQ5 정신 모델과 사용자 기반 특성은 효과적이고 맥락 인식 가능한 설명 생성에 어떤 역할을 하는가?

주요 결과

• 설명 가능한 AI 계획(XAIP)은 후행 설명에서 통합된 추론으로 진화하였으며, 최근 연구에서는 설명 가능성 제약 조건을 고려한 계획 수립이 고전적 계획 수립만큼 계산적으로 비용이 들지 않는다는 것이 입증되었다.
• 공백 정신 모델과의 모델 조율은 각 행동의 정당화를 위한 최소한의 인과적 연결 하위집합을 식별할 수 있게 하며, 효과적인 계획 요약의 기초를 제공한다.
• 상태 추상화 및 시간 추상화 기법—예를 들어 낮은 중요도 특성을 제거하거나 하위목표를 추출하는 것—은 확장 가능하고 사용자가 탐색할 수 있는 계획 표현을 가능하게 한다.
• 심리적으로 타당한 모델(예: 역강화학습에 영향을 받은 것)을 활용한 부분 계획 생성은 사용자가 작업 지식을 기반으로 계획을 완성할 수 있도록 하여 참여도와 이해도를 향상시킨다.
• 사용자 기반 질의인 "행동 ai는 어떤 조건에서 수행되는가?"와 같은 질문은 특성 기반 표현을 통해 처리 가능하며, 정책 분석에서 상호작용 가능한 설명을 가능하게 한다.
• LTL 기반의 계획 추적 비교를 통해 사용자는 정책가 다른 정책과 어떻게 다를지 이해할 수 있으며, 이는 의사결정적 트레이드오프와 내구성에 대한 통찰을 제공한다.