[論文レビュー] Explainable Goal-Driven Agents and Robots -- A Comprehensive Review

Sado Fatai, Chu Kiong Loo+3 more|arXiv (Cornell University)|Apr 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 206被引用数 6

ひとこと要約

本論文は、説明可能な目的志向型エージェントおよびロボットに関する包括的なレビューを提示し、記号的推論、知覚的説明、認知モデリングを通じてAIシステムの透明性と解釈可能性を向上させるフレームワークを提案する。人間を含むフィードバックループによる信念、欲求、意図、計画のコミュニケーションを統合することで、安全が求められるロボティクス応用分野における信頼の欠如を是正する。

ABSTRACT

Recent applications of autonomous agents and robots, such as self-driving cars, scenario-based trainers, exploration robots, and service robots have brought attention to crucial trust-related challenges associated with the current generation of artificial intelligence (AI) systems. AI systems based on the connectionist deep learning neural network approach lack capabilities of explaining their decisions and actions to others, despite their great successes. Without symbolic interpretation capabilities, they are black boxes, which renders their decisions or actions opaque, making it difficult to trust them in safety-critical applications. The recent stance on the explainability of AI systems has witnessed several approaches on eXplainable Artificial Intelligence (XAI); however, most of the studies have focused on data-driven XAI systems applied in computational sciences. Studies addressing the increasingly pervasive goal-driven agents and robots are still missing. This paper reviews approaches on explainable goal-driven intelligent agents and robots, focusing on techniques for explaining and communicating agents perceptual functions (example, senses, and vision) and cognitive reasoning (example, beliefs, desires, intention, plans, and goals) with humans in the loop. The review highlights key strategies that emphasize transparency, understandability, and continual learning for explainability. Finally, the paper presents requirements for explainability and suggests a roadmap for the possible realization of effective goal-driven explainable agents and robots.

研究の動機と目的

• 自己走行車やサービスロボットなど、安全が求められる応用分野において顕著な説明可能性の欠如を是正すること。
• 接続主義的ディープラーニングシステムにおける「ブラックボックス」的意思決定が、人間の信頼と責任の所在を損なうという核心的課題を特定すること。
• 知覚機能（例：視覚、センシング）と認知的推論（例：信念、意図、計画）を分析することで、目的志向型システムにおける説明可能性に焦点を当てる。
• 人間中心の説明メカニズムを備えた、透明で理解可能かつ継続的に学習可能なエージェント行動の統合的フレームワークを提案すること。
• 実世界での展開に向けた、効果的で信頼できる説明可能なエージェントおよびロボットを開発するための要件とロードマップを確立すること。

提案手法

• ロボティクス分野における目的志向型エージェントおよびロボットに焦点を当てた、説明可能なAI（XAI）の既存手法を調査・分類する。
• 信念、欲求、意図、計画（BDI推論）といった認知的状態をモデル化・説明可能にするために、記号的AI技術を統合する。
• 人間が理解可能な表現にセンサ入力をマッピングする知覚的説明に重点を置く（例：視覚、LIDAR）。
• エージェントの意思決定および推論プロセスをリアルタイムで人間ユーザーに伝えるための、人間を含むフィードバックループの通信メカニズムを提案する。
• 継続的学習の原則を適用し、エージェント行動および環境変化に伴って説明システムが進化することを保証する。
• ロボティクス、認知科学、XAIを統合する多分野的視点を用いて、機能的かつ解釈可能なシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、目的志向型エージェントおよびロボットの知覚的入力および認知的推論プロセスの説明可能性を高められるか？
• RQ2 信念、欲求、意図、計画を人間ユーザーに透明に伝えるために、どのような技術が有効か？
• RQ3 ディープラーニングと統合された記号的推論は、性能を維持しつつも不透明性を低減するためにどのように実装できるか？
• RQ4 安全が求められるロボティクス応用分野における信頼できる説明可能なエージェントを構築するにあたり、どのような要件が必要か？
• RQ5 次世代の説明可能な目的志向型エージェントおよびロボットの開発を導くためのロードマップは何か？

主な発見

• 現在のディープラーニングベースのAIシステムには本質的な説明可能性が欠如しており、透明性の欠如が安全が求められるロボティクス分野における信頼を損なっている。
• BDI（信念・欲求・意図）状態の記号的モデリングにより、人間ユーザーに対するエージェント行動の構造的かつ解釈可能な説明が可能になる。
• 知覚的説明（生のセンサデータを人間が理解可能な概念にマッピングする）は、エージェント行動の理解度を顕著に向上させる。
• 人間を含むフィードバックループの説明メカニズムは、透明性を高め、人間と自律エージェントの協働を促進する。
• 継続的学習は、エージェントが新しい環境やタスクに適応するにあたり、説明の整合性を維持するために不可欠である。
• 記号的推論、知覚的解釈、インタラクティブな説明を統合する統一フレームワークは、信頼できるロボティクスシステムの発展に不可欠である。