[논문 리뷰] Explainable Goal-Driven Agents and Robots -- A Comprehensive Review and New Framework

Sado Fatai, Chu Kiong Loo외 2명|arXiv (Cornell University)|2020. 04. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 189인용 수 9

한 줄 요약

이 논문은 인지적 추론(신념, 욕망, 의도, 계획, 목표 포함)과 인지적 기능의 투명성 통합을 통해 설명 가능한 목표 중심 에이전트 및 로봇을 위한 종합적인 프레임워크를 제안한다. 목표 중심 시스템에 특화된 기존 XAI 기법을 검토하고, 동적 설명 가능성 확보를 위한 지속적 학습의 중요성을 강조하며, 안전이 핵심인 분야에서 신뢰할 수 있고 인간이 이해할 수 있는 자율 에이전트를 위한 비전도를 제시한다.

ABSTRACT

Recent applications of autonomous agents and robots, for example, self-driving cars, scenario-based trainers, exploration robots, service robots, have brought attention to crucial trust-related problems associated with the current generation of artificial intelligence (AI) systems. AI systems particularly dominated by the connectionist deep learning neural network approach lack capabilities of explaining their decisions and actions to others, despite their great successes. They are fundamentally non-intuitive black boxes, which renders their decision or actions opaque, making it difficult to trust them in safety-critical applications. The recent stance on the explainability of AI systems has witnessed several works on eXplainable Artificial Intelligence; however, most of the studies have focused on data-driven XAI systems applied in computational sciences. Studies addressing the increasingly pervasive goal-driven agents and robots are still missing. This paper reviews works on explainable goal-driven intelligent agents and robots, focusing on techniques for explaining and communicating agents perceptual functions (for example, senses, vision, etc.) and cognitive reasoning (for example, beliefs, desires, intention, plans, and goals) with humans in the loop. The review highlights key strategies that emphasize transparency and understandability, and continual learning for explainability. Finally, the paper presents requirements for explainability and suggests a roadmap for the possible realization of effective goal-driven explainable agents and robots

연구 동기 및 목표

• 자율 에이전트 및 로봇에서 사용되는 현재의 딥러닝 기반 AI 시스템에서 설명 가능성의 부족을 해결한다.
• 에이전트가 인간에게 자신의 인지적 기능(예: 시각, 감지)과 인지적 추론(예: 신념, 목표, 계획)을 설명할 수 있도록 하는 기법들을 특정하고 분석한다.
• 안전이 핵심인 응용 분야에서 신뢰를 확보하기 위해 투명성과 이해 가능성의 핵심 요구사항을 강조한다.
• 지속적 학습과 인간-중심 설계를 통해 효과적이고 설명 가능한 목표 중심 에이전트를 개발하기 위한 비전도를 제안한다.
• 기존의 데이터 기반 XAI 연구와 목표 중심 자율 시스템의 구체적 요구사항 사이의 격차를 메운다.

제안 방법

• 목표 중심 에이전트 및 로봇에 초점을 맞춘 기존 설명 가능한 AI(XAI) 연구를 체계적으로 검토한다.
• 시각, 센서 데이터 해석, 환경 이해와 같은 인지적 기능을 설명하는 기법들을 분류하고 분석한다.
• 신념 표현, 목표 설정, 의도 모델링, 계획 실행과 같은 인지적 추론 과정을 설명하는 방법을 검토한다.
• 에이전트가 새로운 환경과 작업에 적응함에 따라 설명을 유지하고 업데이트하는 데 지속적 학습의 역할을 강조한다.
• 사용자가 이해하고 행동할 수 있도록 설명이 가능하도록 인간-중심 설계 원칙을 통합한다.
• 목표 중심 시스템에서 인지적 인식, 인지 기반 및 의사결정 과정 전반에 걸쳐 설명 가능성을 통합하는 개념적 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 목표 중심 에이전트 및 로봇의 인지적 인식 및 추론 기능을 설명하는 데 있어 핵심 과제는 무엇인가?
• RQ2 XAI 기법은 어떻게 목표 중심 에이전트의 추론 과정(예: 신념, 욕망, 의도, 계획(BDI) 모델링)을 설명하는 데 적합하게 조정될 수 있는가?
• RQ3 지속적 학습은 변화가 빠른 환경에서 장기적으로 설명 가능성을 유지하는 데 어떤 역할을 하는가?
• RQ4 안전이 핵심인 응용 분야에서 인간-AI 상호작용에서 투명성과 이해 가능성을 체계적으로 달성하는 방법은 무엇인가?
• RQ5 설명 가능한 목표 중심 에이전트 및 로봇을 구축하기 위한 필수 요구사항과 설계 원칙은 무엇인가?

주요 결과

• 자율 에이전트에 적용되는 현재의 딥러닝 기반 AI 시스템은 본질적으로 투명하지 않으며, 안전이 핵심인 응용 분야에서 신뢰를 저해하는 블랙박스 역할을 한다.
• 대부분의 기존 XAI 연구는 계산 과학 분야의 데이터 기반 시스템에 집중되어 있어, 목표 중심 에이전트 및 로봇에 대한 설명 가능성의 빈도가 높은 격차를 드러낸다.
• 시각, 감지 등의 인지적 기능과 신념, 목표, 계획 등의 인지적 추론을 설명하는 기법은 인간의 이해와 신뢰를 확보하는 데 필수적이다.
• 지속적 학습은 에이전트가 실제 환경에서 진화하고 적응함에 따라 설명 가능성을 유지하는 데 핵심적인 추진력으로 확인된다.
• 설명 가능한 목표 중심 에이전트를 위한 통합 프레임워크는 인간-중심 피드백을 통합하여 인지적 인식, 인지 기반 및 의사결정 과정 전반에 걸쳐 투명성을 통합해야 한다.
• 이 논문은 투명성, 이해 가능성, 동적 설명 가능성을 강조하는 바탕이 되는 미래 연구 비전도를 수립한다.