[논문 리뷰] Explainable Goal-Driven Agents and Robots -- A Comprehensive Review

Sado Fatai, Chu Kiong Loo외 3명|arXiv (Cornell University)|2020. 04. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 206인용 수 6

한 줄 요약

이 논문은 설명 가능한 목표 지향형 에이전트와 로봇에 대한 종합적인 리뷰를 제시하며, 상징적 추론, 지각적 설명, 인지 모델링을 통해 인공지능 시스템의 투명성과 해석 가능성성을 향상시키는 프레임워크를 제안한다. 인간의 신념, 욕구, 의도, 계획을 포함한 인간-중심의 커뮤니케이션을 통합하여 안전 핵심 응용 분야에서의 신뢰 격차를 해소한다.

ABSTRACT

Recent applications of autonomous agents and robots, such as self-driving cars, scenario-based trainers, exploration robots, and service robots have brought attention to crucial trust-related challenges associated with the current generation of artificial intelligence (AI) systems. AI systems based on the connectionist deep learning neural network approach lack capabilities of explaining their decisions and actions to others, despite their great successes. Without symbolic interpretation capabilities, they are black boxes, which renders their decisions or actions opaque, making it difficult to trust them in safety-critical applications. The recent stance on the explainability of AI systems has witnessed several approaches on eXplainable Artificial Intelligence (XAI); however, most of the studies have focused on data-driven XAI systems applied in computational sciences. Studies addressing the increasingly pervasive goal-driven agents and robots are still missing. This paper reviews approaches on explainable goal-driven intelligent agents and robots, focusing on techniques for explaining and communicating agents perceptual functions (example, senses, and vision) and cognitive reasoning (example, beliefs, desires, intention, plans, and goals) with humans in the loop. The review highlights key strategies that emphasize transparency, understandability, and continual learning for explainability. Finally, the paper presents requirements for explainability and suggests a roadmap for the possible realization of effective goal-driven explainable agents and robots.

연구 동기 및 목표

• 자율주행차 및 서비스 로봇과 같은 안전 핵심 응용 분야에서 특히 중요한 현대 AI 기반 에이전트와 로봇의 설명 가능성 부족 문제를 해결한다.
• 연결주의 딥 러닝 시스템에서의 '블랙박스' 의사결정 방식이 인간의 신뢰와 책임 소재를 저해하는 핵심 과제를 규명한다.
• 지각 기능(예: 시각, 센서링)과 인지적 추론(예: 신념, 의도, 계획)을 분석함으로써 목표 지향 시스템의 설명 가능성에 집중한다.
• 인간 중심의 설명 메커니즘을 갖춘 투명하고 이해하기 쉬우며 지속적으로 학습 가능한 에이전트 행동을 위한 통합 프레임워크를 제안한다.
• 실제 구현에서 효과적이고 신뢰할 수 있으며 설명 가능한 에이전트와 로봇을 개발하기 위한 요구사항과 로드맵을 수립한다.

제안 방법

• 로봇 공학 분야에서 목표 지향형 에이전트와 로봇에 초점을 맞춘 설명 가능한 인공지능(XAI) 기존 접근법을 조사하고 분류한다.
• 신념, 욕구, 의도, 계획(BDI 추론) 등의 인지 상태를 모델링하고 설명하기 위해 상징적 AI 기법을 통합한다.
• 사람이 이해할 수 있는 표현으로 센서 입력(예: 시각, 라이다)을 매핑함으로써 지각적 설명에 중점을 둔다.
• 실시간으로 에이전트의 의사결정 및 추론 과정을 인간에게 전달하기 위한 인간-중심의 커뮤니케이션 메커니즘을 제안한다.
• 지속적 학습 원칙을 적용하여 설명 시스템이 에이전트 행동과 환경 변화에 따라 진화하도록 보장한다.
• 로봇공학, 인지과학, XAI를 융합한 다학제적 시각을 통해 功能적이고 해석 가능한 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 목표 지향형 에이전트와 로봇은 지각 입력과 인지적 추론 과정 측면에서 어떻게 설명 가능하게 만들 수 있는가?
• RQ2 신념, 욕구, 의도, 계획을 인간 사용자에게 투명하게 전달할 수 있는 기법은 무엇인가?
• RQ3 심층 학습과 통합된 상징적 추론은 성능을 유지하면서도 투명성을 확보하기 위해 어떻게 적용할 수 있는가?
• RQ4 안전 핵심 로봇 응용 분야에서 신뢰할 수 있고 설명 가능한 에이전트를 구축하기 위한 핵심 요구사항은 무엇인가?
• RQ5 다음 세대의 설명 가능한 목표 지향형 에이전트와 로봇 개발을 이끄는 로드맵은 무엇인가?

주요 결과

• 현재의 딥 러닝 기반 AI 시스템은 내재적인 설명 가능성 부족으로 인해 투명하지 못한 의사결정을 유도하며, 이는 안전 핵심 로봇 공학 분야에서의 신뢰를 약화시킨다.
• BDI(신념-욕구-의도) 상태의 상징적 모델링은 인간 사용자에게 에이전트 행동을 체계적이고 해석 가능한 방식으로 설명할 수 있도록 한다.
• 지각적 설명—원시 센서 데이터를 인간이 이해할 수 있는 개념으로 매핑하는 것—은 사용자가 에이전트 행동을 보다 잘 이해하도록 크게 향상시킨다.
• 인간-중심의 설명 메커니즘은 투명성을 향상시키고 인간과 자율 에이전트 간의 협업을 촉진한다.
• 지속적 학습은 에이전트가 새로운 환경과 작업에 적응함에 따라 설명의 정확성을 유지하기 위해 필수적이다.
• 상징적 추론, 지각 해석, 상호작용적 설명을 융합한 통합 프레임워크는 신뢰할 수 있는 로봇 시스템 발전에 핵심적이다.