[논문 리뷰] Towards Providing Explanations for AI Planner Decisions

Rita Borgo, Michael Cashmore외 1명|Strathprints: The University of Strathclyde institutional repository (University of Strathclyde)|2018. 10. 15.

AI-based Problem Solving and Planning참고 문헌 15인용 수 10

한 줄 요약

이 논문은 사용자 중심의 접근 방식을 제안하여 AI 플래너의 결정을 설명한다. 사용자가 대체 행동을 제안하고, 이를 바탕으로 대안 계획을 생성하고 비교하며, 플래너의 선택이 왜 더 우수한지 설명한다. XAI-Plan 프레임워크는 ROSPlan에 구현되어 투명하고 상호작용 가능한 설명을 제공함으로써 복잡한 도메인에서 신뢰도를 높이고 혼합 주도 계획을 지원한다.

ABSTRACT

In order to engender trust in AI, humans must understand what an AI system is trying to achieve, and why. To overcome this problem, the underlying AI process must produce justifications and explanations that are both transparent and comprehensible to the user. AI Planning is well placed to be able to address this challenge. In this paper we present a methodology to provide initial explanations for the decisions made by the planner. Explanations are created by allowing the user to suggest alternative actions in plans and then compare the resulting plans with the one found by the planner. The methodology is implemented in the new XAI-Plan framework.

연구 동기 및 목표

• 플래너가 사용자에게 결정을 정당화해야 하는 고위험 도메인에서 설명 가능한 AI의 필수적인 필요성을 해결하기 위해.
• 기존 계획 설명 시스템이 계획이 *무엇을* 하는지에 대해서만 설명할 뿐, 특정 계획이 왜 선택되었는지에 대해서는 설명하지 못하는 한계를 극복하기 위해.
• 사용자가 대체 행동과 그로 인한 계획을 탐색하고 비교할 수 있도록 하는 도메인 독립적인 방법론을 개발하기 위해.
• 사용자 전문 지식과 혼합 주도 계획을 지원할 수 있도록 설명 생성을 계획 파이프라인에 통합하기 위해.
• 대체 계획이 유효하지 않거나 플래너의 출력보다 효율성이 떨어지므로 설명을 제시함으로써 정당화를 생성하는 프레임워크를 제공하기 위해.

제안 방법

• 사용자가 특정 상태에서 사전조건을 충족하는 액션 목록에서 대체 액션을 선택할 수 있도록 허용한다.
• 사용자가 제안한 액션을 표현하기 위해 새로운 술어와 연산자를 추가하여 계획 도메인을 동적으로 수정한다.
• 수정된 문제 인스턴스에서 플래너를 재실행하여 대체 액션 기반의 새로운 계획을 생성한다.
• 사용자가 정의한 지표(예: 계획 비용, 지속 시간, 자원 사용량)를 사용하여 원본 계획과 대안 계획을 결합하고 비교한다.
• 계층적 계획 트리와 성능 차트를 포함한 실시간 상호작용 인터페이스에서 두 계획과 그 지표 비교를 표시한다.
• ROSPlan을 기반 계획 인프라로 사용하며, XAI-Plan를 확장하여 설명 생성과 사용자 상호작용을 지원한다.

실험 결과

연구 질문

• RQ1 AI 플래너는 특정 계획이 다른 대안들보다 왜 선택되었는지에 대한 설명을 어떻게 제공할 수 있는가?
• RQ2 사용자가 제안한 대안을 활용하여 의미 있는 비교적 설명을 생성할 수 있는가?
• RQ3 복잡한 계획 도메인에서 비전문가 사용자도 이해할 수 있도록 설명을 어떻게 투명하게 만들 수 있는가?
• RQ4 사용자가 제공한 대안이 최종 계획을 개선하거나 플래너의 한계를 드러내는 데 어느 정도 기여할 수 있는가?
• RQ5 성능을 저하시키지 않으면서 실시간 상호작용 가능한 계획 프레임워크에 설명 과정을 어떻게 통합할 수 있는가?

주요 결과

• XAI-Plan 프레임워크는 사용자가 대체 행동을 탐색하고 비교할 수 있도록 하여 새로운 계획을 생성하고 비교 지표를 바탕으로 정당화된 설명을 제공한다.
• 시스템은 플래너가 선택한 계획이 사용자가 제안한 대안보다 열 劣하지 않음을 입증하며, 그 선택의 명확한 이유를 제공한다.
• ROSPlan과의 통합을 통해 시간 제약, 수치적 유동성, 연속 환경을 포함한 실제 도메인에서도 시스템이 작동할 수 있다.
• 사용자 인터페이스는 실시간 피드백, 막대 차트를 통한 계획 비교, 탐색 및 추적을 위한 계층적 계획 트리를 지원한다.
• 사용자가 대체 행동 제안을 통해 도메인 지식을 기여할 수 있도록 하여 혼합 주도 계획을 지원한다.
• 이 접근 방식은 도메인 독립적이며 기반 플래너에 관계없이 적용 가능하므로 다양한 계획 시스템에 널리 적용될 수 있다.