[논문 리뷰] Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning

Mehrdad Zakershahrak, Samira Ghodratnama|arXiv (Cornell University)|2020. 12. 21.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 인간의 인지 부하에 적응하기 위해 세부 계획을 다단계 설명으로 추상화하는 계층적 강화학습(H-RL) 프레임워크를 제안한다. 설명 생성을 목표 기반 마르코프 결정 과정으로 모델링함으로써, 인간이 정보 계층 구조를 선호하는 방식을 학습하여, 기준 방법보다 인지 부하와 설명 시간을 줄이며 인간의 반응을 94.4%의 정확도로 일치시킨다.

ABSTRACT

Providing explanations is considered an imperative ability for an AI agent in a human-robot teaming framework. The right explanation provides the rationale behind an AI agent's decision-making. However, to maintain the human teammate's cognitive demand to comprehend the provided explanations, prior works have focused on providing explanations in a specific order or intertwining the explanation generation with plan execution. Moreover, these approaches do not consider the degree of details required to share throughout the provided explanations. In this work, we argue that the agent-generated explanations, especially the complex ones, should be abstracted to be aligned with the level of details the human teammate desires to maintain the recipient's cognitive load. Therefore, learning a hierarchical explanations model is a challenging task. Moreover, the agent needs to follow a consistent high-level policy to transfer the learned teammate preferences to a new scenario while lower-level detailed plans are different. Our evaluation confirmed the process of understanding an explanation, especially a complex and detailed explanation, is hierarchical. The human preference that reflected this aspect corresponded exactly to creating and employing abstraction for knowledge assimilation hidden deeper in our cognitive process. We showed that hierarchical explanations achieved better task performance and behavior interpretability while reduced cognitive load. These results shed light on designing explainable agents utilizing reinforcement learning and planning across various domains.

연구 동기 및 목표

• 인간-로봇 협업에서 복잡한 계획 작업 중 인간의 인지 부하를 유지하는 데 도전하는 문제를 해결하기 위해.
• 모든 세부 정보가 동시에 동일하게 관련되지는 않음을 고려하여, 설명에서 정보 계층 구조에 대한 인간의 선호도를 모델링하기 위해.
• 세부 정보 추상화와 해석 가능성 사이의 균형을 유지하면서도 일반화 가능한 계층적 설명 생성 프레임워크를 개발하기 위해.
• 강화학습을 통해 최적의 설명 순서를 학습함으로써 인간 동반자의 정신적 및 시간적 부하를 줄이기 위해.
• 인간의 인지 처리 방식과 일치하는 설명 구조를 통해 작업 성과 향상과 행동의 해석 가능성 향상을 위해.

제안 방법

• 프레임워크는 설명 생성을 목표 기반 마르코프 결정 과정(MDP)으로 모델링하며, 상태는 계획 세부 정보의 추상화 수준를 나타낸다.
• 강화학습을 사용하여 인간 피드백 트레이스를 기반으로 다음 설명 단계를 선택하는 정책을 학습한다.
• 계층적 추상화를 적용하여 먼저 고수준 설명을 생성한 후, 점차 더 세부적인 하위 설명을 제공한다.
• 계획 실행과 함께 설명 생성을 통합하여 점진적 정보 공개를 통해 정보 과부하를 줄인다.
• 검색 공간을 줄이고 설명 생성의 추론 효율성을 향상시키기 위해 결정적 정책을 사용한다.
• 모델은 인간-로봇 상호작용 트레이스를 기반으로 설명 순서와 세부 수준에 대한 선호도를 학습한다.

실험 결과

연구 질문

• RQ1 복잡한 계획 작업에서 인간은 설명 세부 정보의 계층적 순서에 대해 일관된 선호도를 보이는가?
• RQ2 강화학습은 인간-로봇 협업에서 설명 추상화 수준에 대한 인간의 선호도를 효과적으로 모델링할 수 있는가?
• RQ3 계층적 설명 생성은 평탄하거나 비계층적 점진적 방법보다 인간의 인지 부하를 줄이는가?
• RQ4 학습된 설명 정책은 새로운 시나리오로 일반화되어도 높은 작업 성과와 해석 가능성을 유지할 수 있는가?
• RQ5 설명 정확도, 시간, 부하 측면에서 이 프레임워크는 기존 방법과 어떻게 비교되는가?

주요 결과

• H-RL 프레임워크는 10개의 스카빙헌트 시나리오에서 인간 반응을 94.4%의 정확도로 일치시켰으며, OEG(86.6%)와 PEG(77.5%)를 크게 앞서나갔다.
• H-RL는 시나리오당 평균 설명 동작 수를 3.17로 줄였으며, 이는 OEG(9.3)와 PEG(9.0)보다 상당히 낮아 인지 부담 감소를 시사한다.
• 주관적 부하 측정치(TLX) 결과 H-RL는 정신적 및 시간적 부하가 가장 낮았으며, OEG 및 PEG와 비교해 통계적으로 유의미한 차이(p < 0.05)를 보였다.
• H-RL의 평균 설명 생성 시간은 시나리오당 25.37초였으며, OEG(43.3초)와 PEG(35.9초)보다 유의미하게 낮았다.
• 결과는 전체 또는 점진적 세부 정보 공개보다 추상화가 더 효과적임을 확인하였으며, PEG는 점진적 전달임에도 불구하고 H-RL보다 성능이 열 劣했다.
• 이 연구는 설명 생성이 계층적 인지 과정이며, 이러한 계층성을 모델링함으로써 해석 가능성과 작업 성과가 모두 향상됨을 검증한다.