[論文レビュー] Explainable AI for System Failures: Generating Explanations that Improve Human Assistance in Fault Recovery

Devleena Das, Siddhartha Banerjee+1 more|arXiv (Cornell University)|Nov 18, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 4

ひとこと要約

本論文は、非専門家ユーザーがロボット計画の障害を診断し、適切な回復行動を選択するのを支援する、文脈に基づく自然言語説明を提案する。環境的文脈を含む説明を生成するように、sequence-to-sequenceモデルを適応させた結果、障害シナリオ全体にわたる一般化精度が89.7%に達し、行動ベースの説明や説明なしのケースと比較して、ユーザーの障害回復精度が顕著に向上した。

ABSTRACT

With the growing capabilities of intelligent systems, the integration of artificial intelligence (AI) and robots in everyday life is increasing. However, when interacting in such complex human environments, the failure of intelligent systems, such as robots, can be inevitable, requiring recovery assistance from users. In this work, we develop automated, natural language explanations for failures encountered during an AI agents' plan execution. These explanations are developed with a focus of helping non-expert users understand different point of failures to better provide recovery assistance. Specifically, we introduce a context-based information type for explanations that can both help non-expert users understand the underlying cause of a system failure, and select proper failure recoveries. Additionally, we extend an existing sequence-to-sequence methodology to automatically generate our context-based explanations. By doing so, we are able develop a model that can generalize context-based explanations over both different failure types and failure scenarios.

研究の動機と目的

• 計画実行中のシステム障害に関する説明可能AIのギャップ、特に非専門家ユーザーを対象として解消すること。
• 非専門家が障害の原因を理解し、適切な回復行動を選択できる情報を特定すること。
• 人間支援故障回復を改善する、自動的かつ一般化可能な自然言語説明の生成手法を開発すること。
• 現実世界のロボット操作タスクにおいて、文脈ベースの説明が行動ベースの説明や説明なしのベースラインと比較して有効であることを検証すること。

提案手法

• 障害の原因を明確にするために、環境的および状況的文脈を組み込んだ新しい説明タイプ「文脈ベースの説明」を導入する。
• 計画実行ログと障害アノテーションを用いてトレーニングした、GRUベースのエンコーダ・デコーダ構造のsequence-to-sequenceニューラルモデルを適応させる。
• 障害シナリオのトレーニングと検証に、10分割のグループ化されたleave-one-out交差検証を2段階で実施する。
• Adam最適化を用いた交差エントロピー損失関数を採用し、学習率は0.0001とする。エンコーダとデコーダのGRU隠れ層サイズは、それぞれ20と49である。
• 説明品質の向上を図るため、生の特徴量（例：物体の有無、距離、遮蔽状態）と埋め込み表現をデコーダの入力に統合する。
• 一般化性能を向上させるために、デコード段階で正解ターゲットトークンへの露出を防ぐマスキングをトレーニング段階で適用する。

実験結果

リサーチクエスチョン

• RQ1 非専門家がシステム障害の原因を理解し、適切な回復行動を選択するのに役立つ意味のある情報とは何か？
• RQ2 多様な障害タイプとシナリオに一般化可能な自動的自然言語説明を生成できるモデルはどのように開発できるか？
• RQ3 行動ベースの説明や説明なしのケースと比較して、文脈ベースの説明は非専門家の障害原因特定力および適切な回復行動選択能力を顕著に向上させることができるか？
• RQ4 自動化されたニューラル生成モデルは、ロボット計画実行におけるさまざまな障害シナリオにどの程度一般化できるか？

主な発見

• 文脈ベースの説明は、行動ベースの説明や説明なしのケースと比較して、ユーザーが障害原因を特定し、適切な回復行動を選択する精度を顕著に向上させた。
• 何らかの説明が提供されたユーザーは、説明なしのユーザーと比較して、より高い自己効力感を報告し、より低い困難度を体感していた。
• 自動化された説明生成モデルは、6つの障害タイプと1つの正しい行動説明タイプを含む全シナリオで、全体の一般化精度が89.7%に達した。混同行列に示されている通りである。
• 誤検出は主に同じ障害タイプ内に限定されており（例：検出障害下で「存在しない」と誤分類される「遮蔽済み」）、障害カテゴリ内でのモデルの一貫性が示された。
• ナビゲーションにおける「コントローラ」障害タイプは、正しくナビゲーションの説明と誤分類される確率が最も高く（19.6%）、この分類の明確化が今後の課題である。
• 誤りでない説明は、誤りの説明とほとんど混同されておらず、モデルが障害状態と正常状態を明確に分離できていることが示された。