[논문 리뷰] Online Explanation Generation for Human-Robot Teaming

Mehrdad Zakershahrak, Ze Gong외 2명|arXiv (Cornell University)|2019. 03. 15.

AI-based Problem Solving and Planning참고 문헌 26인용 수 9

한 줄 요약

이 논문은 인간-로봇 협업에서 인간의 인지 부하를 줄이기 위해 계획 실행 중에 설명을 단계적으로 제공하는 온라인 설명 생성(OEG)을 제안한다. 설명은 점진적인 부분들로 분할되어 제공되며, 모델 재결합 기반으로 로봇과 인간의 정서 모델을 일치시켜 인지적 일치를 도모한다. 세 가지 변종(OEG-PP, OEG-NA, OEG-AP)은 기준 방법 대비 인지적 이해도 향상과 부하 감소에서 뚜렷한 개선을 보였으며, 인간 실험과 합성 테스트를 통해 검증되었다.

ABSTRACT

As AI becomes an integral part of our lives, the development of explainable AI, embodied in the decision-making process of an AI or robotic agent, becomes imperative. For a robotic teammate, the ability to generate explanations to justify its behavior is one of the key requirements of explainable agency. Prior work on explanation generation has been focused on supporting the rationale behind the robot's decision or behavior. These approaches, however, fail to consider the mental demand for understanding the received explanation. In other words, the human teammate is expected to understand an explanation no matter how much information is presented. In this work, we argue that explanations, especially those of a complex nature, should be made in an online fashion during the execution, which helps spread out the information to be explained and thus reduce the mental workload of humans in highly cognitive demanding tasks. However, a challenge here is that the different parts of an explanation may be dependent on each other, which must be taken into account when generating online explanations. To this end, a general formulation of online explanation generation is presented with three variations satisfying different "online" properties. The new explanation generation methods are based on a model reconciliation setting introduced in our prior work. We evaluated our methods both with human subjects in a simulated rover domain, using NASA Task Load Index (TLX), and synthetically with ten different problems across two standard IPC domains. Results strongly suggest that our methods generate explanations that are perceived as less cognitively demanding and much preferred over the baselines and are computationally efficient.

연구 동기 및 목표

• 복잡한 로봇 설명을 한 번에 모두 해석해야 하는 데서 발생하는 높은 인지적 부담을 완화하기 위해.
• 시간에 따라 설명 정보를 분산시켜 정서적 부하를 줄일 수 있는 온라인 설명 생성 프레임워크를 개발하기 위해.
• 요소 간 의존성에도 불구하고 점진적인 설명 부분이 인지적으로 일관성을 유지하도록 보장하기 위해.
• 온라인 설명이 인간-로봇 협업에서 인간의 신뢰도, 작업 성능 및 인지 부하에 미치는 영향을 평가하기 위해.
• 모의 실험과 인간 참가자 실험 모두에서 온라인 방법을 기준 방법과 비교하기 위해.

제안 방법

• 논문은 계획 실행 중에 다양한 시점에 설명을 제공하는 온라인 설명 생성(OEG)의 일반적 수식을 제안한다.
• 세 가지 OEG 변종이 제안된다: OEG-PP(점진적 계획), OEG-NA(비연속), OEG-AP(적응형 페이스링), 각각 다른 온라인 특성을 만족한다.
• 방법은 모델 재결합에 기반하며, 로봇이 인간의 정서 모델과 일치하도록 설명을 조정하여 불일치를 줄인다.
• 각 설명 부분은 맥락적으로 일관되며 인간의 해석 과정에 최소한의 간섭을 줄 수 있도록 생성된다.
• 시행과 설명 생성을 통합한 계획 모델을 사용하여 시간적·논리적 일관성을 보장한다.
• 평가에는 인공지능 계획 경쟁(IRC) 도메인에서 유래한 합성 테스트 케이스와 우주비행사 TLX를 활용한 시뮬레이션된 탐사로버 도메인에서의 인간 참가자 실험을 모두 활용한다.

실험 결과

연구 질문

• RQ1 온라인 설명 생성은 복잡한 인간-로봇 협업 작업 중 인간 동료의 인지 부하를 줄일 수 있는가?
• RQ2 다양한 온라인 설명 전략(OEG-PP, OEG-NA, OEG-AP)은 인간의 신뢰도와 작업 성능 측면에서 어떻게 비교되는가?
• RQ3 점진적인 설명 제공 방식은 통합된 설명 대비 더 나은 이해도와 낮은 인지 부하를 초래하는가?
• RQ4 로봇과 인간 간의 모델 차이가 설명의 효과성에 어느 정도 영향을 미치며, 온라인 생성은 이를 어떻게 완화할 수 있는가?
• RQ5 계획 실행과 함께 설명을 혼합함으로써 설명 품질과 인간 성능에 측정 가능한 개선이 이루어지는가?

주요 결과

• OEG 방법은 인간 참가자가 의심스럽다고 판단한 행동 수를 크게 감소시켰으며, OEG-AP는 평균 4.94건의 행동(정확도 87.2%)으로 가장 낮은 수치를 기록했다.
• OEG-AP와 OEG-NA는 성능에서 통계적으로 유의미한 차이가 없었지만, 모든 OEG 변종이 MCE 및 MCE-R 기준 방법보다 뚜렷하게 뛰어났다(p < 0.001).
• NASATLX 결과에 따르면, OEG 방법은 모든 항목에서 인지 부하의 인식 수준이 유의미하게 낮아졌으며, 주관적 측정치의 가중합에 대한 p-값은 0.0068이었다.
• MCE-R는 MCE보다 목적적 및 주관적 측정 모두에서 성능이 열 劣했으며(p = 0.043 및 0.028), 단순한 정보 분할만으로는 충분하지 않음을 확인했다.
• MCE-R의 평균 의심 행동 수는 8.789건이었고, OEG-AP는 4.940건이었으며, 이는 온라인 설명에 대한 인간의 신뢰도가 더 높다는 것을 시사한다.
• 본 연구는 온라인 설명 생성이 작업 성능과 이해도 인식을 모두 향상시키며, 실질적으로 OEG-AP가 가장 효과적인 변종임을 확인했다.