[論文レビュー] Explainable AI for Robot Failures: Generating Explanations that Improve User Assistance in Fault Recovery

Devleena Das, Siddhartha Banerjee+1 more|arXiv (Cornell University)|Jan 5, 2021

Explainable Artificial Intelligence (XAI)参考文献 47被引用数 15

ひとこと要約

本論文は、非専門家ユーザーを想定したロボットのタスク実行中の障害を説明するための新しい種類の説明可能AI、$ε_{err}$ を導入する。環境的文脈と最近の行動履歴を組み合わせた説明は、ユーザーが障害を特定し、回復策を選択する能力を顕著に向上させることを示し、エンコーダ・デコーダモデルが、自宅環境および未確認のオフィス環境において、手書きのバージョンと同等の性能でこのような説明を生成できることを検証した。

ABSTRACT

With the growing capabilities of intelligent systems, the integration of robots in our everyday life is increasing. However, when interacting in such complex human environments, the occasional failure of robotic systems is inevitable. The field of explainable AI has sought to make complex-decision making systems more interpretable but most existing techniques target domain experts. On the contrary, in many failure cases, robots will require recovery assistance from non-expert users. In this work, we introduce a new type of explanation, that explains the cause of an unexpected failure during an agent's plan execution to non-experts. In order for error explanations to be meaningful, we investigate what types of information within a set of hand-scripted explanations are most helpful to non-experts for failure and solution identification. Additionally, we investigate how such explanations can be autonomously generated, extending an existing encoder-decoder model, and generalized across environments. We investigate such questions in the context of a robot performing a pick-and-place manipulation task in the home environment. Our results show that explanations capturing the context of a failure and history of past actions, are the most effective for failure and solution identification among non-experts. Furthermore, through a second user evaluation, we verify that our model-generated explanations can generalize to an unseen office environment, and are just as effective as the hand-scripted explanations.

研究の動機と目的

• 計画実行中の予期しないロボット障害に対する説明可能AIの不足に応えること、特に非専門家ユーザーを対象として。
• 障害の原因を特定し、回復行動を選択するうえで、非専門家が最も効果的に支援される説明の情報構成を同定すること。
• 非専門家にとって理解可能で、環境間で一般化可能な自然言語の説明を自動生成する手法を開発・評価すること。
• モデル生成説明が、手書きの説明と同等に、障害回復タスクにおけるユーザーのパフォーマンスを向上させることを検証すること。

提案手法

• 非専門家向けにロボットタスク実行中の予期しない障害を説明する新しい説明形式 $ε_{err}$ を形式化する。
• 手書きの説明を評価するユーザースタディを実施し、特に環境的文脈と過去の行動履歴という要素が、障害と回復策の特定に最も効果的であることを同定する。
• 既存のエンコーダ・デコーダニューラルモデルを拡張し、障害の文脈と行動履歴に基づいて自然言語による $ε_{err}$ 説明を自動生成する。
• シミュレーテッド自宅環境でモデルを訓練・評価し、未確認のオフィス環境への一般化能力を検証する。
• モデル生成説明、手書き説明、説明なしの3条件の被験者間比較ユーザースタディを実施し、障害特定（FId）と回復策特定（SId）のパフォーマンスを評価する。
• F1スコア（障害特定：FId、回復策特定：SId）の各条件間の差を比較するために、分散分析（ANOVA）とテューキーのHSD後続検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 説明に含めるどの種類の情報が、非専門家ユーザーがロボット障害の原因を特定し、適切な回復策を選択するのを最も効果的に支援するか？
• RQ2 自動化されたニューラルシーケンス・ツー・シーケンスモデルは、非専門家ユーザーが障害回復タスクを実行する際に、手書きの説明と同等に効果的な説明を生成できるか？
• RQ3 モデル生成説明は、たとえば自宅環境からオフィス環境への移行といった、異なる環境間でどの程度一般化可能か？

主な発見

• 最近の成功した行動履歴と環境の文脈的推論を含む説明は、非専門家が障害の原因を特定する能力を顕著に向上させる。
• 説明に文脈的および履歴的情報を含めることで、説明なしの条件と比較して、障害特定（FId）と回復策特定（SId）の両方において顕著な向上が見られた。
• モデル生成説明（CB-H-M）は、手書きの説明（CB-H）と同等の性能を示し、FIdおよびSIdの両面で統計的に有意な差は認められなかった。
• モデル生成説明は未確認の環境（オフィス）でも有効であり、学習ドメインを超えた一般化能力を示した。
• 障害特定（FId）のF1スコアは、CB-H-MおよびCB-Hの両条件で説明なし条件よりも顕著に高く、p=0.0002であった。
• 回復策特定（SId）のF1スコアは、CB-H条件が説明なし条件と比較して顕著に向上（p=0.038）、CB-H-M条件ではトレンド的向上（p=0.060）を示し、CB-H-MとCB-Hの間には有意差は認められなかった。