[論文レビュー] To Explain or Not to Explain: A Study on the Necessity of Explanations for Autonomous Vehicles

Yuan Shen, Shanduojiao Jiang+2 more|arXiv (Cornell University)|Jun 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用数 31

ひとこと要約

この論文は自動運転車の行動に対する説明が必要となる条件と、運転者のタイプと運転状況が説明の必要性に与える影響を調査し、ラベル付き説明必要性を含む1103本のビデオクリップのデータセットを導入する。

ABSTRACT

Explainable AI, in the context of autonomous systems, like self-driving cars, has drawn broad interests from researchers. Recent studies have found that providing explanations for autonomous vehicles' actions has many benefits (e.g., increased trust and acceptance), but put little emphasis on when an explanation is needed and how the content of explanation changes with driving context. In this work, we investigate which scenarios people need explanations and how the critical degree of explanation shifts with situations and driver types. Through a user experiment, we ask participants to evaluate how necessary an explanation is and measure the impact on their trust in self-driving cars in different contexts. Moreover, we present a self-driving explanation dataset with first-person explanations and associated measures of the necessity for 1103 video clips, augmenting the Berkeley Deep Drive Attention dataset. Our research reveals that driver types and driving scenarios dictate whether an explanation is necessary. In particular, people tend to agree on the necessity for near-crash events but hold different opinions on ordinary or anomalous driving situations.

研究の動機と目的

• 運転シナリオが自動運転判断に対するテキストベースの説明の必要性にどのように影響するかを評価する。
• 運転者タイプ（例: アグレッシブ vs. 慎重）が文脈全体で説明ニーズにどのように影響するかを検討する。
• 運転シナリオ全体で普遍的な説明内容形式が存在するかを特定する。
• 自動運転ビデオの説明必要性・タイミング・内容を注釈付けしたデータセットを作成する。

提案手法

• 説明注釈のクラスタリングから導出された38の運転シナリオにわたり、車両乗客を演じる18名の参加者を対象としたオンライン調査ベースのユーザースタディを実施する。
• 各ビデオクリップの後に必要性スコア、注意度、希望する説明内容を収集する。
• “クリティカルスコア”(0〜1)を定義・計算し、各瞬間の説明必要性を示す。
• Berkeley Deep Drive Attention データセットを拡張し、説明モーメントと必要性スコアが注釈された1103本のビデオクリップを作成する。
• ビデオフレームから説明必要性を推定する時空間再帰モデルを開発し、ランダム推測と比較する。

実験結果

リサーチクエスチョン

• RQ1 説明の必要性は運転シナリオと運転者タイプと相関するか？
• RQ2 シナリオ全体で一般に好まれる説明内容形式は存在するか？
• RQ3 説明の有無は自動運転車へのユーザー信頼を高めるか？
• RQ4 接近衝突と通常の運転イベントにおける説明必要性の時間的動的はどうなるか？
• RQ5 一人称視点の説明と必要性スコアのデータセットは、説明ニーズのリアルタイム推論を支援できるか？

主な発見

• 説明の必要性は運転者タイプと運転シナリオの両方と相関があり、近接衝突状況でより高い必要性を示す。
• 通常または異常な運転状況に対する説明必要性について、参加者間でかなりの意見の相違がある。
• すべてのシナリオを通じた一般的に好まれる説明形式は見つからなかった。38のシナリオのうち16で好ましい形式を特定できたが、一貫したパターンは出てこなかった。
• 攻撃的な運転者は慎重な運転者より平均で説明必要性が低いと報告した（およそ18%低い）。
• 1103本のクリップを含む自動運転の説明データセットは、異なる説明モーメントと必要性スコア（0〜1）を示し、説明ニーズを予測するための基準AUCを0.6295–0.6794に設定できる。