[논문 리뷰] Explainable AI for Robot Failures: Generating Explanations that Improve User Assistance in Fault Recovery

Devleena Das, Siddhartha Banerjee외 1명|arXiv (Cornell University)|2021. 01. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 47인용 수 15

한 줄 요약

이 논문은 비전문가 사용자를 대상으로 로봇 작업 실행 중 발생하는 실패 원인을 설명하기 위한 새로운 종류의 설명형 AI인 $ε_{err}$를 소개한다. 환경적 맥락과 최근 행동 이력이 포함된 설명은 사용자가 실패 원인을 식별하고 복구 방법을 선택하는 데 있어 성능을 크게 향상시키며, 인코더-디코더 모델이 홈 환경과 예측되지 않은 사무실 환경 모두에서 수작업으로 작성된 버전과 유사한 성능을 보이는 것으로 검증된다.

ABSTRACT

With the growing capabilities of intelligent systems, the integration of robots in our everyday life is increasing. However, when interacting in such complex human environments, the occasional failure of robotic systems is inevitable. The field of explainable AI has sought to make complex-decision making systems more interpretable but most existing techniques target domain experts. On the contrary, in many failure cases, robots will require recovery assistance from non-expert users. In this work, we introduce a new type of explanation, that explains the cause of an unexpected failure during an agent's plan execution to non-experts. In order for error explanations to be meaningful, we investigate what types of information within a set of hand-scripted explanations are most helpful to non-experts for failure and solution identification. Additionally, we investigate how such explanations can be autonomously generated, extending an existing encoder-decoder model, and generalized across environments. We investigate such questions in the context of a robot performing a pick-and-place manipulation task in the home environment. Our results show that explanations capturing the context of a failure and history of past actions, are the most effective for failure and solution identification among non-experts. Furthermore, through a second user evaluation, we verify that our model-generated explanations can generalize to an unseen office environment, and are just as effective as the hand-scripted explanations.

연구 동기 및 목표

• 계획 실행 중 예기치 않은 로봇 실패에 대한 설명형 AI의 부족을 해결하기 위해, 특히 비전문가 사용자를 대상으로 하는 것이다.
• 실패 설명에서 사용자가 실패 원인을 진단하고 복구 조치를 선택하는 데 가장 효과적인 정보 구성 요소를 규명하는 것.
• 비전문가 사용자에게 이해 가능하고 다양한 환경에 일반화 가능한 자연어 설명을 자동으로 생성하는 방법을 개발하고 평가하는 것.
• 모델이 생성한 설명이 수작업으로 작성된 설명과 동일한 효과를 보여 실패 복구 작업에서 사용자 성능 향상에 기여하는지 검증하는 것.

제안 방법

• 비전문가 사용자에게 로봇 작업 실행 중 발생한 예기치 않은 실패를 설명하기 위한 새로운 설명 유형인 $ε_{err}$를 체계화하는 것.
• 수작업으로 작성된 설명의 효과를 평가하고, 특히 환경적 맥락과 과거 행동 이력이 실패 원인 및 복구 방법 식별에 가장 효과적인 것으로 규명하기 위해 사용자 연구를 수행하는 것.
• 기존의 인코더-디코더 신경망 모델을 확장하여 실패 맥락과 행동 이력을 기반으로 자연어 $ε_{err}$ 설명을 자동 생성하는 것.
• 모델을 시뮬레이션된 홈 환경에서 훈련하고, 예측되지 않은 사무실 환경으로의 일반화 능력을 테스트하는 것.
• 모델 생성 설명, 수작업 설명, 설명 없음의 세 조건을 비교하는 3조건 간 주체 설계 사용자 연구를 수행하여 실패 및 복구 방법 식별 성능을 평가하는 것.
• 실패 식별(FId) 및 복구 방법 식별(SId)에 대한 F1 스코어를 조건 간 비교하기 위해 통계 분석(ANOVA 및 Tukey HSD 사후 검정)을 적용하는 것.

실험 결과

연구 질문

• RQ1 실패 설명에서 어떤 종류의 정보가 비전문가 사용자가 로봇 실패 원인을 식별하고 적절한 복구 조치를 선택하는 데 가장 효과적인가?
• RQ2 자동화된 신경망 시퀀스 투 시퀀스 모델이 비전문가 사용자에게 실패 복구 작업에서 수작업 설명과 동일한 효과를 내는 설명을 생성할 수 있는가?
• RQ3 모델이 생성한 설명은 홈 환경에서 사무실 환경으로의 이행과 같은 다양한 환경 간에 얼마나 잘 일반화되는가?

주요 결과

• 최근에 성공적으로 완료된 행동 이력과 환경에 대한 맥락적 추론을 포함한 설명은 비전문가가 실패 원인을 식별하는 능력을 크게 향상시킨다.
• 설명에 맥락적 정보와 이력 정보를 포함할 경우, 설명이 없는 경우에 비해 실패 식별(FId)과 복구 방법 식별(SId) 성능이 유의미하게 향상된다.
• 모델이 생성한 설명(CB-H-M)은 실패 식별(FId)과 복구 방법 식별(SId)에서 수작업 설명(CB-H)과 유사한 성능을 보였으며, 둘 간 유의미한 차이가 없었다.
• 모델이 생성한 설명은 훈련 도메인 외부의 예측되지 않은 환경(사무실)에서도 효과적이었으며, 훈련 도메인 외부로의 일반화 능력을 입증했다.
• 실패 식별(FId)의 F1 스코어는 CB-H-M 및 CB-H 조건에서 설명이 없는 조건보다 유의미하게 높았다(p=0.0002).
• 복구 방법 식별(SId)의 F1 스코어는 CB-H 조건이 설명이 없는 조건보다 유의미하게 향상되었고(p=0.038), CB-H-M 조건은 추세적으로 향상되었으며(p=0.060), CB-H-M과 CB-H 간 유의미한 차이는 없었다.