[논문 리뷰] Explainable AI for System Failures: Generating Explanations that Improve Human Assistance in Fault Recovery

Devleena Das, Siddhartha Banerjee외 1명|arXiv (Cornell University)|2020. 11. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 4

한 줄 요약

이 논문은 비전문가 사용자가 로봇 계획 장애를 진단하고 적절한 복구 조치를 선택하는 데 도움이 되도록 맥락 기반 자연어 설명을 제안한다. 환경적 맥락을 포함하는 설명을 생성하기 위해 순서-순서(sequence-to-sequence) 모델을 적응시켜 다양한 장애 시나리오로의 일반화 정확도가 89.7%에 달하고, 행동 기반 설명이나 설명 없음과 비교해 사용자의 장애 복구 정확도가 크게 향상됨.

ABSTRACT

With the growing capabilities of intelligent systems, the integration of artificial intelligence (AI) and robots in everyday life is increasing. However, when interacting in such complex human environments, the failure of intelligent systems, such as robots, can be inevitable, requiring recovery assistance from users. In this work, we develop automated, natural language explanations for failures encountered during an AI agents' plan execution. These explanations are developed with a focus of helping non-expert users understand different point of failures to better provide recovery assistance. Specifically, we introduce a context-based information type for explanations that can both help non-expert users understand the underlying cause of a system failure, and select proper failure recoveries. Additionally, we extend an existing sequence-to-sequence methodology to automatically generate our context-based explanations. By doing so, we are able develop a model that can generalize context-based explanations over both different failure types and failure scenarios.

연구 동기 및 목표

• 계획 실행 중 시스템 장애에 대한 설명 가능한 AI의 격차를 해결하기 위해, 특히 비전문가 사용자를 대상으로 하는 것.
• 비전문가가 장애 원인을 이해하고 적절한 복구 조치를 선택할 수 있도록 하는 정보 유형을 규명하는 것.
• 인간 보조 장애 복구를 향상시키는 자동화되고 일반화 가능한 자연어 설명 생성 방법을 개발하는 것.
• 실제 로봇 조작 작업에서 맥락 기반 설명이 행동 기반 설명 및 설명 없음 기반 대조군에 비해 효과적인지 검증하는 것.

제안 방법

• 실행 계획 로그와 장애 주석을 기반으로 훈련된 순서-순서 신경 모델(GRU 기반 인코더-디코더)을 활용해 환경적 및 상황적 맥락을 포함하는 실험적 설명 유형을 도입함.
• 실행 시나리오에 대해 10개의 폴드를 사용한 두 단계의 그룹화된 떼어내기 교차검증(leave-one-out cross-validation)을 통해 모델을 훈련 및 검증함.
• Adam 최적화 기반 교차 엔트로피 손실를 사용하고 학습률은 0.0001로 설정함. 인코더 및 디코더의 GRU 은닉 크기는 각각 20과 49임.
• 원시 특징(예: 물체 존재 여부, 거리, 가림 상태)과 임베딩을 디코더 입력에 통합하여 설명 품질 향상.
• 학습 중 디코딩 단계에서 정답 타겟 토큰에 노출되지 않도록 마스킹을 적용하여 일반화 능력 향상.

실험 결과

연구 질문

• RQ1 비전문가가 장애 원인을 이해하고 적절한 복구 조치를 선택하는 데 도움이 되는 의미 있는 설명에 포함되어야 할 정보의 유형은 무엇인가?
• RQ2 다양한 장애 유형과 시나리오에 일반화할 수 있는 자동으로 자연어 설명을 생성할 수 있는 모델은 어떻게 개발할 수 있는가?
• RQ3 행동 기반 설명이나 설명 없음과 비교해 맥락 기반 설명이 비전문가의 장애 원인 파악 능력과 정확한 복구 조치 선택 능력을 얼마나 향상시킬 수 있는가?
• RQ4 자동화된 신경 생성 모델은 로봇 계획 실행의 다양한 장애 시나리오에 대해 어느 정도 일반화할 수 있는가?

주요 결과

• 맥락 기반 설명은 행동 기반 설명 및 설명 없음과 비교해 비전문가 사용자의 장애 원인 파악 정확도와 정확한 복구 조치 선택 정확도를 크게 향상시킴.
• 어떤 설명이든 제공된 사용자는 설명이 없는 경우보다 더 높은 자신감을 느끼고 난이도를 더 낮게 평가함.
• 자동화된 설명 생성 모델은 6종의 장애 유형과 1종의 정상 동작 설명 유형을 포함해 총 7개 유형에서 전체 일반화 정확도 89.7%를 달성함. 이는 혼동 행렬을 통해 확인됨.
• 거짓 양성은 주로 동일한 장애 유형 내에서 발생함(예: 감지 장애 상황에서 '존재하지 않음'이 '가림 상태'로 잘못 분류됨), 이는 장애 유형 내에서 모델의 일관성 높은 성능을 의미함.
• 이동 중 '컨트롤러' 장애 유형은 정상 이동 설명으로 잘못 분류되는 경우가 가장 많았음(19.6% 비율), 이는 이러한 유형 간의 구분을 향상시킬 필요가 있음을 시사함.
• 오류가 아닌 설명은 오류 설명과 거의 혼동되지 않아, 모델이 장애 상태와 성공 상태를 명확히 분리하고 있음을 나타냄.