[논문 리뷰] Explainable Autonomous Robots: A Survey and Perspective

Tatsuya Sakai, Takayuki Nagai|arXiv (Cornell University)|2021. 05. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 63인용 수 4

한 줄 요약

이 종합 검토에서는 자율 로봇의 설명 가능성(XAR)을 위한 프레임워크를 제안하며, 사용자의 정서 상태를 모델링하고 설명의 세부 수준을 조정함으로써 인간이 이해할 수 있는 용어로 로봇이 자신의 행동, 의도 및 결정을 동적으로 설명할 수 있도록 한다. 주요 기여는 자율 시스템에서의 설명 가능성에 대한 통합적 정의와, 적응형이고 맥락 인식 기반의 커뮤니케이션을 통해 설명 생성을 로봇의 의사결정 과정에 통합하는 루트맵이다.

ABSTRACT

Advanced communication protocols are critical to enable the coexistence of autonomous robots with humans. Thus, the development of explanatory capabilities is an urgent first step toward autonomous robots. This survey provides an overview of the various types of "explainability" discussed in machine learning research. Then, we discuss the definition of "explainability" in the context of autonomous robots (i.e., explainable autonomous robots) by exploring the question "what is an explanation?" We further conduct a research survey based on this definition and present some relevant topics for future research.

연구 동기 및 목표

• 기계 학습 해석 가능성 이상의 맥락에서 자율 로봇의 설명 가능성 정의하기, 인간과 로봇 간 상호 이해에 초점 맞추기.
• 투명한 의사결정으로 인한 인간-로봇 신뢰 격차, 특히 실시간 상호작용에서의 심각한 격차 해결하기.
• 로봇이 사용자의 정서 모델을 추정하고 사용자의 지식 수준과 신뢰 수준에 따라 설명을 맞춤형으로 조정하는 프레임워크 제안하기.
• 로봇 커뮤니케이션에서 설명 시기, 내용, 윤리적 일관성의 핵심 연구 과제 규명하기.
• 설명 생성을 자율 행동의 일등 구성 요소로 삼아 로봇의 행동 공간에 통합하기.

제안 방법

• 자율 로봇에서의 설명 가능성 정의를 인간의 인지 모델과 일치하는 방식으로 행동의 근거를 전달할 수 있는 능력으로 제안하기.
• 로봇의 내부 상태, 사용자의 내부 상태, 외부 환경의 세 상태 세계 모델을 도입하여 설명 생성 가능하게 하기.
• 설명 제시를 로봇의 행동 공간 내 동작로 간주하여 표준 강화 학습 알고리즘을 통한 학습 가능하게 하기.
• 사용자가 예측한 행동과 로봇의 자체 의사결정 모델 간의 모델 비교를 통해 관련 설명 내용 추출하기.
• 사용자별 신뢰 수준과 지식 수준에 기반한 적응형 설명 세부 수준 적용하여 정보 과부하 방지하기.
• 사실과 다를 수 있는 설명의 윤리적 영향 고려하여, 거짓말은 단기적 유용성은 있지만 장기적 신뢰를 약화시킬 수 있음을 제안하기.

실험 결과

연구 질문

• RQ1 자율 로봇 맥락에서 유효한 설명은 무엇이며, 기계 학습의 해석 가능성과 어떻게 다를까?
• RQ2 로봇이 상호작용 맥락에 맞는 설명을 동적으로 생성하기 위해 사용자의 정서 모델을 어떻게 추정할 수 있을까?
• RQ3 로봇이 인간-로봇 상호작용 중 언제, 무엇, 어떻게 설명할지를 결정할 수 있는 메커니즘은 무엇일까?
• RQ4 설명 생성을 어떻게 로봇의 의사결정 및 행동 선택 과정에 공식적으로 통합할 수 있을까?
• RQ5 실제 사고 과정과 다를 수 있는 설명을 생성할 때 윤리적 한계는 어디에 있을까?

주요 결과

• 자율 로봇에서의 설명 가능성은 단순히 출력 설명을 내보내는 것을 넘어서 내부 상태에 대한 상호 이해가 필요한 커뮤니케이션 문제이다.
• 설명의 세부 수준과 내용은 사용자의 지식 수준과 신뢰 수준에 맞게 조정되어야 하며, 그렇지 않으면 사용자를 혼란스럽게 하거나 오해를 낳을 수 있다.
• 설명 생성은 로봇의 행동 공간 내 동작으로 모델링할 수 있으며, 표준 강화 학습 프레임워크를 통해 종단 간 학습이 가능하다.
• 설명을 하지 못하면 신뢰를 잃게 되며, 시기적절하지 않거나 사용자의 관심사와 관련이 없는 정확한 설명이라도 효과가 없을 수 있다.
• 로봇이 사실과 다를 수 있는 설명을 생성할 경우 윤리적 문제 발생하며, 이러한 관행은 장기적으로 시스템에 대한 신뢰를 약화시킬 위험이 있다.
• 이 프레임워크는 로봇이 '무엇을' 하고 있는지뿐만 아니라 '왜' 하고 있는지까지 전달할 수 있게 하여 공유된 의도성의 느낌을 조성한다.