[論文レビュー] State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding

Devleena Das, Sonia Chernova+1 more|arXiv (Cornell University)|Sep 21, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、エージェントの状態/行動と概念ベースの説明の間の連携埋め込みを学習する統合フレームワークであるState2Explanation (S2E) を提案する。S2Eは報酬形状を通じた強化学習エージェントの訓練を向上させるとともに、運用時におけるエンドユーザーの理解を高めることで、二重の利点を実現する。Connect 4およびLunar Landerにおいて、S2Eは学習効率とエンドユーザーのタスクパフォーマンスを顕著に向上させ、目的志向の抽象化に基づく概念ベースの説明によって、二重の利点を実証した。

ABSTRACT

As more non-AI experts use complex AI systems for daily tasks, there has been an increasing effort to develop methods that produce explanations of AI decision making that are understandable by non-AI experts. Towards this effort, leveraging higher-level concepts and producing concept-based explanations have become a popular method. Most concept-based explanations have been developed for classification techniques, and we posit that the few existing methods for sequential decision making are limited in scope. In this work, we first contribute a desiderata for defining concepts in sequential decision making settings. Additionally, inspired by the Protege Effect which states explaining knowledge often reinforces one's self-learning, we explore how concept-based explanations of an RL agent's decision making can in turn improve the agent's learning rate, as well as improve end-user understanding of the agent's decision making. To this end, we contribute a unified framework, State2Explanation (S2E), that involves learning a joint embedding model between state-action pairs and concept-based explanations, and leveraging such learned model to both (1) inform reward shaping during an agent's training, and (2) provide explanations to end-users at deployment for improved task performance. Our experimental validations, in Connect 4 and Lunar Lander, demonstrate the success of S2E in providing a dual-benefit, successfully informing reward shaping and improving agent learning rate, as well as significantly improving end user task performance at deployment time.

研究の動機と目的

• 順序決定システムにおける概念ベースの説明のギャップ、特に事前条件や行動コストを越えた分野を埋めるため。
• 概念ベースの説明がAIエージェント（報酬形状を通じて）とエンドユーザー（理解の向上を通じて）の両方に利益をもたらすかどうかを調査すること。
• エージェントの訓練とエンドユーザーの説明の両方の用途を対象とした、状態/行動と説明の間の連携埋め込みを学習する統合フレームワークの開発。
• 目的志向の抽象化を強調する観点から、順序決定における「概念」とは何かを定義する基準（desiderata）を提示すること。
• S2Eの有効性を、複雑な強化学習環境においてエージェントの学習速度とエンドユーザーのタスクパフォーマンスの両方を向上させることで検証すること。

提案手法

• S2Eは、状態-行動ペアと概念ベースの説明の間の連携埋め込みモデルを、対照学習の目的関数を用いて学習する。
• 学習された埋め込みにより、エージェントの訓練中に、いつ、どのように概念ベースの報酬を適用するかを特定することで、自動的な報酬形状が可能になる。
• 運用時においては、同じ埋め込み空間を用いて、ユーザーの解釈のための概念ベースの説明を検索する。
• フレームワークは、高水準でユーザーに分かりやすい説明を生成するための2つの抽象化技術（InF（影響に基づくフィルタリング）とTeG（タスク・ゴール抽象化））を組み込む。
• 概念は、事前条件や論理式だけでなく、目的関連の影響に基づいて定義され、順序決定における基準（desiderata）に従う。
• モデルベースの指標（学習速度、サンプル効率）とユーザースタディ（タスクパフォーマンス、ATS）を用いて、Connect 4およびLunar Landerで評価される。

実験結果

リサーチクエスチョン

• RQ1 概念ベースの説明は、報酬形状を通じて強化学習エージェントの学習速度を向上させることができるか？
• RQ2 概念ベースの説明は、順序決定タスクにおけるエンドユーザーの理解とタスクパフォーマンスを向上させることができるか？
• RQ3 事前条件や行動コストを越えて、順序決定の文脈における「概念」とは何かを定義する基準は何か？
• RQ4 InF や TeG といった抽象化技術は、エンドユーザーに対する概念ベースの説明の有効性にどのように影響するか？
• RQ5 統合された埋め込みモデルは、エージェントの訓練とユーザーの説明検索の両方を効果的にサポートできるか？

主な発見

• S2Eは、Connect 4およびLunar Landerの両環境で、熟練者が定義した報酬関数と同等の学習速度を達成し、自動的な報酬形状の有効性を示した。
• ユーザースタディでは、S2Eが生成した説明を提示された参加者は、説明なし、自然言語説明、視覚のみの説明と比較して、タスクパフォーマンス（ATS）が顕著に向上した。
• S2EにおけるInFとTeGの抽象化手法の組み合わせが、特にLunar Landerのような高頻度の強化学習分野において、ユーザーのタスクパフォーマンス向上に最も顕著な効果をもたらした。
• ユーザースタディでは、InFとTeGの両抽象化を組み合わせたS2Eの説明を受けた際、参加者のATSが統計的に有意に向上した（p < 0.01）、他のすべてのベースラインを上回った。
• 連携埋め込みモデルは、意味的に意味のあるだけでなく、エージェントの訓練とユーザー理解の両方にとって有用な概念ベースの説明を効果的に検索した。
• 誤った説明の検索は、テストされた分野ではパフォーマンスにほとんど影響を及ぼさなかったが、将来的には高リスクな応用分野における誤解を招く説明のリスクは、今後の課題として残る。