[논문 리뷰] Plan Explanations as Model Reconciliation: Moving Beyond Explanation as Soliloquy

Tathagata Chakraborti, Sarath Sreedharan외 2명|arXiv (Cornell University)|2017. 01. 28.

AI-based Problem Solving and Planning참고 문헌 19인용 수 38

한 줄 요약

이 논문은 AI 계획 설명을 모델 재결합으로 모델링하며, AI 시스템이 인간의 정신 모델을 자신의 모델과 일치하도록 업데이트하여 계획이 최적임을 보이게 한다. 모델 재결합 문제(MRP)를 제안하고, 설명 생성을 모델 변경에 대한 A*-검색으로 공식화하며, 전체 모델 덤프에 비해 최소이면서 완전한 설명이 모델 차이 크기를 크게 줄임으로써 설명 가능성과 효율성을 향상시킴을 보여준다.

ABSTRACT

When AI systems interact with humans in the loop, they are often called on to provide explanations for their plans and behavior. Past work on plan explanations primarily involved the AI system explaining the correctness of its plan and the rationale for its decision in terms of its own model. Such soliloquy is wholly inadequate in most realistic scenarios where the humans have domain and task models that differ significantly from that used by the AI system. We posit that the explanations are best studied in light of these differing models. In particular, we show how explanation can be seen as a "model reconciliation problem" (MRP), where the AI system in effect suggests changes to the human's model, so as to make its plan be optimal with respect to that changed human model. We will study the properties of such explanations, present algorithms for automatically computing them, and evaluate the performance of the algorithms.

연구 동기 및 목표

• 기존의 인간과 AI가 동일한 모델을 공유한다는 가정을 하는 전통적 '단독 설명' 방식의 한계를 해결하기 위해, 실제 인간-AI 상호작용에서는 이 가정이 자주 성립하지 않는다는 점을 다루기 위함.
• 설명 생성을 모델 재결합 문제(MRP)로 공식화하여, AI가 인간의 모델에 최소한의 변경을 제안함으로써 자신의 계획이 수정된 모델 하에서 최적임을 보장하기 위함.
• 완전성, 간결성, 단조성, 계산 가능성의 조건을 만족하는 설명을 효율적으로 생성하기 위한 계산적으로 효율적인 알고리즘 개발.
• 기본 계획 도메인에서 이러한 알고리즘의 성능을 평가하여, 최소한의 설명이 전체 모델 차이보다 훨씬 작다는 것을 입증함.
• 인간의 모델이 직접 제공되지 않을 경우에도 설명을 생성할 수 있는 가능성을 탐색하기 위해, 인간의 모델이 PDDL로 학습되고 표현된다고 가정함.

제안 방법

• AI와 인간 간의 상호작용을 다중 모델 계획 설정으로 공식화하여, AI의 모델과 인간의 모델이 다를 경우 인간이 AI의 계획을 비최적적으로 해석하게 되는 상황을 다룸.
• 모델 재결합 문제(MRP)를 정의하여, 인간의 모델에 최소한의 변경을 가해 AI의 계획이 갱신된 모델 하에서 최적이 되도록 하는 것을 목표로 함.
• 세 가지 설명 유형을 제안: 최소 완전 설명(MCE), 최소 모델 최적 설명(MME), 근접 계획 설명(PPE). 각각 완전성, 단조성, 계산 가능성 조건을 약간 완화하여 계산 가능성을 확보함.
• MCE 및 MME를 계산하기 위해 모델 변경 공간에서 A*-검색 알고리즘을 구현하며, 검색 효율성을 향상시키기 위해 휴리스틱을 사용함.
• 확장된 PDDL 표현을 사용해 모델 차이 및 변경 연산을 수행함으로써 모델 수정에 대한 스케일러블한 검색을 가능하게 함.
• BlocksWorld 실험에서 MME의 검색 공간을 줄이기 위해 정리 3을 적용하여, 비순리적 모델 경로를 제거함으로써 평가된 노드 수를 2^10 = 1024에서 훨씬 작은 집합으로 줄임.

실험 결과

연구 질문

• RQ1 인간의 모델이 AI의 모델과 다를 경우, AI 시스템은 효과적이고 효율적인 설명을 어떻게 생성할 수 있는가?
• RQ2 인간-AI 상호작용 맥락에서 효과적인 설명이 되기 위해 어떤 성질을 가져야 하는가?
• RQ3 모델 재결합을 모델 수정에 대한 검색 문제로 공식화할 경우, 설명은 효율적으로 생성될 수 있는가?
• RQ4 MCE, MME, PPE와 같은 다양한 설명 유형 간에 완전성, 크기, 계산 비용 측면에서 어떤 차이가 있는가?
• RQ5 휴리스틱 근사치는 설명 품질을 손상시키지 않으면서 계산 시간을 얼마나 줄이는가?

주요 결과

• MCE 및 MME 유형의 설명은 전체 모델 차이 크기의 약 20% 수준으로 매우 작으며, 이는 최소한의 설명이 모델 불일치를 효과적으로 줄임을 보여줌.
• MCE 검색에서 휴리스틱을 사용함으로써 계산 시간이 크게 감소하였으며, 모든 기준 도메인에서 효율성 향상이 명확하게 관측됨.
• 근사 MCE는 정확한 MCE와 크기에서 매우 유사하여, 근사 전략이 설명 품질을 유지하면서도 확장성을 향상시킴을 시사함.
• MME 검색은 MCE보다 더 비용이 많이 들지만, 둘 다 전체 모델 차이(|MPE|)에 비해 훨씬 더 작아서 최소한의 설명의 가치를 입증함.
• PPE 설명은 계산적으로는 저렴하지만 완전성과 단조성을 결여하고 있으며 종종 관련이 없는 변경을 포함하여 MCE나 MME보다 효과가 떨어짐.
• 정리 3를 통해 MME의 검색 노드 수가 크게 감소하여 2^10 = 1024에서 훨씬 작은 부분집합으로 줄어들었으며, 이는 정점 제거 전략의 효과성을 검증함.