[論文レビュー] Explainability of deep vision-based autonomous driving systems: Review and challenges

Éloi Zablocki, Hedi Ben-younes+2 more|arXiv (Cornell University)|Jan 13, 2021

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本調査は、深層視覚ベースの自律走行システムにおける説明可能性手法をレビューし、後処理型の説明と本質的に解釈可能なモデルに焦点を当てる。標準的なXAI手法を高次元の視覚入力に適用する際の主な課題を特定し、信頼性、耐障害性、解釈可能性を向上させるために因果モデリングとより良い評価フレームワークの導入を要請する。安全上の重要な走行システムにおける信頼性向上に寄与する。

ABSTRACT

This survey reviews explainability methods for vision-based self-driving systems trained with behavior cloning. The concept of explainability has several facets and the need for explainability is strong in driving, a safety-critical application. Gathering contributions from several research fields, namely computer vision, deep learning, autonomous driving, explainable AI (X-AI), this survey tackles several points. First, it discusses definitions, context, and motivation for gaining more interpretability and explainability from self-driving systems, as well as the challenges that are specific to this application. Second, methods providing explanations to a black-box self-driving system in a post-hoc fashion are comprehensively organized and detailed. Third, approaches from the literature that aim at building more interpretable self-driving systems by design are presented and discussed in detail. Finally, remaining open-challenges and potential future research directions are identified and examined.

研究の動機と目的

• 自律走行が安全上の重要な応用分野であり、社会的・技術的リスクが極めて高いことから、説明可能性の必要性を分析すること。
• 視覚ベースの走行システムにおける深層学習モデルの後処理型および本質的に解釈可能な説明手法を体系的に分類・評価すること。
• 高次元の視覚入力（例：動画や3次元点群）に既存のXAI手法を適用する際の主な課題を特定すること。
• 現在の自律走行用説明手法における因果的推論の欠如と標準化された評価フレームワークの不足を強調すること。
• 因果モデリング、不確実性を考慮した説明、意味的入力空間設計といった今後の研究方向性を提案すること。

提案手法

• 説明可能性手法を後処理型（例：セマンティックマップ、対応的反事後）と本質的型（例：注目メカニズム、スパースモデル）に分類する。
• Grad-CAM、GradCAM++、LIMEなどの後処理技術をレビューし、モデル意思決定に影響を与える入力特徴を可視化する方法を検討する。
• 対応的反事後説明手法を検討し、高次元の動画データに適用した際の限界を強調する。
• モデル変換および局所近似手法を議論し、高次元の動画入力空間では実用的でないことを指摘する。
• 効果的な局所的説明を可能にするために、より豊かで意味的に意味のある入力空間と制御可能なデータ多様体の必要性を提言する。
• 因果推論（例：do計算、構造的因果モデル）の統合を提唱し、意思決定の真正の因果的要因を反映する説明を保証する。

実験結果

リサーチクエスチョン

• RQ1 視覚ベースの自律走行システムにおける説明可能性の主な動機と課題は何か？
• RQ2 セマンティックマップや対応的反事後といった後処理型説明手法は、動画や3次元点群といった高次元の視覚入力に適用された際、どのように機能するか？
• RQ3 なぜ標準的なXAI手法は自律走行に一般化できないのか。入力空間表現における根本的な制限要因は何か？
• RQ4 因果モデリングは、走行ポリシーにおける説明の忠実性と耐障害性をどの程度向上させ得るか？
• RQ5 説明の評価における未解決課題、特に忠実性、包括性、人間による解釈可能性の観点から、どのような問題があるか？

主な発見

• 安全上の重要性が極めて高い自律走行において、説明可能性は不可欠であり、信頼構築と、すべての走行シナリオを網羅的にテストできないという点から不可欠である。
• Grad-CAM や LIME といった後処理型手法は広く用いられているが、高次元性と意味的制御の欠如により、動画入力に対して意味のある説明を生み出すことがしばしば失敗する。
• 低次元データ向けのXAI手法の豊富さと比較し、動画や3次元点群といった視覚的走行入力への応用は著しく限定的である。
• 対応的反事後説明は高次元の視覚データにほとんど適用されておらず、単純な摂動により意味のないまたは誤解を招く結果が生じることが多い。
• 現在の評価手法、特に人間による評価は信頼性が低く、スケーラビリティに欠けるため、説得的ではあるが忠実でない説明が生じるリスクがある。
• 因果モデリングは自律走行システムで未だ十分に活用されていないが、真正の原因を反映させ、分布シフトに耐性を持つ説明を実現する可能性を秘めている。