[論文レビュー] Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention

Jinkyu Kim, John Canny|arXiv (Cornell University)|Mar 30, 2017

Explainable Artificial Intelligence (XAI)被引用数 48

ひとこと要約

本稿では、ステアリング出力に因果的に影響しない画像領域を除去することで、注意マップを精錬する因果フィルタード視覚的注目メカニズムを提案する。この手法により、制御精度を維持（MAE ≤ 2.52°）しながら、説明の複雑さを58–62％削減する。

ABSTRACT

Deep neural perception and control networks are likely to be a key component of self-driving vehicles. These models need to be explainable - they should provide easy-to-interpret rationales for their behavior - so that passengers, insurance companies, law enforcement, developers etc., can understand what triggered a particular behavior. Here we explore the use of visual explanations. These explanations take the form of real-time highlighted regions of an image that causally influence the network's output (steering control). Our approach is two-stage. In the first stage, we use a visual attention model to train a convolution network end-to-end from images to steering angle. The attention model highlights image regions that potentially influence the network's output. Some of these are true influences, but some are spurious. We then apply a causal filtering step to determine which input regions actually influence the output. This produces more succinct visual explanations and more accurately exposes the network's behavior. We demonstrate the effectiveness of our model on three datasets totaling 16 hours of driving. We first show that training with attention does not degrade the performance of the end-to-end network. Then we show that the network causally cues on a variety of features that are used by humans while driving.

研究の動機と目的

• リアルタイムで人間が理解可能な視覚的説明を提供する、解釈可能な深層学習モデルを自動運転車に開発すること。
• 自律走行におけるニューラルネットワークの不透明性を解消するため、因果的注目を可視化し、注意マップにおける誤った相関関係への依存を低減すること。
• 非影響的な画像領域の因果フィルタリングにより、制御性能を維持しながら注意の説明を簡素化すること。
• 3つの大規模な実世界ドライブデータセット（合計約16時間の動画）を用いて、手法の妥当性を検証すること。

提案手法

• 2段階のモデルは、画像特徴を抽出するCNNエンコーダを用い、その後に粗いグレインのデコーダが視覚的注目熱マップを生成する。
• 注目マップを「ブロブ」にクラスタリングし、ネットワーク出力に影響を与える可能性のある顕著な領域を同定する。
• 各ブロブを個別にマスクしてステアリング出力への影響を測定することで、因果フィルタリングを実施；因果的に影響を与えるブロブのみを保持する。
• ステアリングおよび速度信号のノイズ低減に単一指数平滑化法を用い、最適なαs = 0.05が選択された。
• 注目マップのスパarsityと性能のバランスを取るためにペナルティ係数λを適用し、検証においてλ = 20が最良のトレードオフを示した。
• 最終的な精錬済み注目マップは、因果的に有効な注目ブロブのみを組み合わせることで生成され、解釈可能性が向上し、ごみが減少する。

実験結果

リサーチクエスチョン

• RQ1 視覚的注目マップは、制御精度を損なわせることなく、エンドツーエンドの自動運転車制御の解釈可能な説明として機能できるか？
• RQ2 生の注目マップには、解釈を誤導する誤ったまたは非因果的な顕著性信号がどれほど含まれているか？
• RQ3 注目ブロブの因果フィルタリングにより、説明の複雑さを顕著に低減できるか、かつモデル性能を維持または向上できるか？
• RQ4 因果フィルタリングの導入が、レーンマークや前方の車両といった人間が関心を持つドライブ要因に注目する能力にどのように影響するか？

主な発見

• 注目を組み込むことで制御精度が劣化しない：Comma.aiテストセットでは平均絶対誤差（MAE）が2.44°に達し、ベースラインモデルと同等の性能を示した。
• 因果フィルタリングにより、58–62％の注目ブロブが非因果的と特定され、性能に損なわれることなく視覚的説明の複雑さが顕著に簡素化された。
• モデルは人間のドライブ行動と整合性を持つ、レーンマーク、道路縁、前方の車両といった人間が関心を持つ特徴を的確に強調した。
• 最適な平滑化係数αs = 0.05は、データセット全体でMAEを最小化し、センサーノイズおよび人間のばらつきに対するロバストネスを向上させた。
• λ = 20では、特にHCEおよびUdacityデータセットにおいて、注目マップのスパarsityと制御精度の最良のバランスが達成された。
• 精錬済みの注目マップは、生の注目マップと比較して、誤った注目源が除去されており、より正確でごみの少ないものであることが定性的に確認された。