[論文レビュー] EyeCar: Modeling the Visual Attention Allocation of Drivers in Semi-Autonomous Vehicles

Sonia Baee, Erfan Pakdamanian+4 more|arXiv (Cornell University)|Dec 17, 2019

Human-Automation Interaction and Safety参考文献 42被引用数 6

ひとこと要約

本論文は、実世界の追突事故シナリオにおける眼動-trackingデータを用いて、準自動運転車両の受動的ドライバーにおける視覚的注意の割り当てをモデル化するための強化学習および逆強化学習フレームワークを提案する。結果から、経験豊富なドライバーは動的リスク要因に早期に注目するより適応的な注視パターンを示し、状況把握能力が向上し、危険要因の早期検出が可能であることが明らかになった。

ABSTRACT

A safe transition between autonomous and manual control requires sustained visual attention of the driver for the perception and assessment of hazards in dynamic driving environments. Thus, drivers must retain a certain level of situation awareness to safely takeover. Understanding the visual attention allocation of drivers can pave the way for inferring their dynamic state of situational awareness. We propose a reinforcement and inverse-reinforcement learning framework for modeling passive drivers' visual attention allocation in semi-autonomous vehicles. The proposed approach measures the eye-movement of passive drivers to evaluate their responses to real-world rear-end collisions. The results show substantial individual differences in the eye fixation patterns by driving experience, even among fully attentive drivers. Experienced drivers were more attentive to the situational dynamics and were able to identify potentially hazardous objects before any collisions occurred. These models of visual attention could potentially be integrated into autonomous systems to continuously monitor and guide effective intervention. Keywords: Visual attention allocation; Situation awareness; Eye movements; Eye fixation; Eye-Tracking; Reinforcement Learning; Inverse Reinforcement Learning

研究の動機と目的

• 動的走行シナリオにおける準自動運転車両のドライバーが視覚的注意をどのように割り当てているかを理解すること。
• 受動的ドライバーの視覚的注意を強化学習および逆強化学習フレームワークを用いてモデル化すること。
• ドライビング経験が、潜在的衝突イベント発生時における注視パターンおよび状況把握能力に与える影響を評価すること。
• 危険検出能力と相関する視覚的注意割り当ての測定可能な差異を同定すること。
• 自律システムがリアルタイムでの注意モデリングを通じてドライバーの介入を監視・誘導できるようにすること。

提案手法

• 準自動運転車両におけるドライバーの眼動-trackingデータを、模擬的な追突事故シナリオの下で収集した。
• 動的走行条件下での観察された注視パターンを最適ポリシーとしてモデル化するため、強化学習フレームワークを訓練した。
• 観察された眼球運動データから、注意割り当てを駆動する潜在的報酬関数を逆強化学習アプローチで推定した。
• フレームワークはドライビング経験および状況的ダイナミクスに基づいて注視パターンの差を特定した。
• 衝突イベントの前における危険物の早期検出を同定するために、注視シーケンスを分析した。
• リアルワールド走行データを用いてモデルを検証し、動的脅威への注意のシフトを予測する能力を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドライビング経験は、準自動運転車両における視覚的注意割り当てにどのように影響するか？
• RQ2 衝突イベントの前において、早期の危険検出に関連する注視パターンはどのようなものか？
• RQ3 強化学習および逆強化学習は、動的走行環境下における受動的ドライバーの視覚的注意を効果的にモデル化できるか？
• RQ4 潜在的追突事故発生時における経験豊富なドライバーと経験が少ないドライバーの注視パターンにどのような差が生じるか？
• RQ5 視覚的注意モデルは、状況把握能力および運転継承の準備度をどの程度まで予測できるか？

主な発見

• 経験豊富なドライバーは、衝突発生前に、接近する車両や急減速といった動的危険要因に対して早期かつ一貫した注視を示した。
• 完全に注意を払っているドライバー間でさえも顕著な個人差が注視パターンに認められ、経験の有無が注意割り当てに与える影響を示した。
• 経験の多いドライバーは、衝突発生の前に対象となる危険要因を特定できており、より高い状況把握能力を示した。
• 逆強化学習モデルは、安全運転行動と整合する注意戦略を反映する報酬関数を効果的に推定した。
• フレームワークは、効果的な危険認識に関連する注視パターンを区別できる能力を示し、自律システムにおけるリアルタイム監視への応用可能性を示唆した。
• 眼動-trackingデータから、特に高リスク状況下において、経験豊富なドライバーが重要な環境的キューにより戦略的に注意を向けることが明らかになった。