[論文レビュー] Using Eye-tracking Data to Predict Situation Awareness in Real Time during Takeover Transitions in Conditionally Automated Driving

Feng Zhou, X. Jessie Yang+1 more|arXiv (Cornell University)|Mar 27, 2021

Human-Automation Interaction and Safety被引用数 8

ひとこと要約

本研究では、眼動追跡データとLightGBM機械学習アルゴリズムを用いて、条件付き自動運転におけるリアルタイムの状況認識（SA）予測モデルを提案する。SHAPを用いた解釈可能性の向上により、運転の継承遷移におけるSAに影響を与える主な視覚的注意要因を同定した。モデルは、眼動追跡特徴量のみを用いても、実際のSAと相関係数0.719を達成し、優れた予測性能を示した。

ABSTRACT

Situation awareness (SA) is critical to improving takeover performance during the transition period from automated driving to manual driving. Although many studies measured SA during or after the driving task, few studies have attempted to predict SA in real time in automated driving. In this work, we propose to predict SA during the takeover transition period in conditionally automated driving using eye-tracking and self-reported data. First, a tree ensemble machine learning model, named LightGBM (Light Gradient Boosting Machine), was used to predict SA. Second, in order to understand what factors influenced SA and how, SHAP (SHapley Additive exPlanations) values of individual predictor variables in the LightGBM model were calculated. These SHAP values explained the prediction model by identifying the most important factors and their effects on SA, which further improved the model performance of LightGBM through feature selection. We standardized SA between 0 and 1 by aggregating three performance measures (i.e., placement, distance, and speed estimation of vehicles with regard to the ego-vehicle) of SA in recreating simulated driving scenarios, after 33 participants viewed 32 videos with six lengths between 1 and 20 s. Using only eye-tracking data, our proposed model outperformed other selected machine learning models, having a root-mean-squared error (RMSE) of 0.121, a mean absolute error (MAE) of 0.096, and a 0.719 correlation coefficient between the predicted SA and the ground truth. The code is available at https://github.com/refengchou/Situation-awareness-prediction. Our proposed model provided important implications on how to monitor and predict SA in real time in automated driving using eye-tracking data.

研究の動機と目的

• 条件付き自動運転における運転継承遷移時の状況認識（SA）をリアルタイムで、非侵襲的に予測する手法の開発。
• SAGAT や SART のような従来のSA測定ツールが、プローブベースまたはタスク後処理の性質上、リアルタイム利用に不適切であるという限界を克服すること。
• 動的運転タスクにおける知覚と理解と強い関連を持つ視覚的注意の代理指標として、眼動追跡データを活用すること。
• SHAP値を用いて、最も影響力のある眼動追跡特徴量とその予測への方向性（正または負の影響）を特定することで、モデルの解釈性を向上させること。
• 非侵襲的生理的データを用いて運転手のSAをリアルタイムで監視することで、自動運転システムにおける事前干渉を可能にすること。

提案手法

• 33名の参加者が、最大6台の車両が動的かつ異なる位置・速度で移動する32本のシミュレート運転動画（1～20秒）を視聴した際の眼動追跡データを収集。
• 車両の配置、距離、速度推定の正確性の3つのパフォーマンス指標を集約し、SAを0～1の標準化されたスケールに変換。
• 木構造ベースのアンサンブル勾配ブースティングモデルであるLightGBMを用い、眼動追跡特徴量（凝視持続時間、瞳孔径、スキャベーション振幅など）のみを入力としてSAを予測。
• SHAP（SHapley Additive exPlanations）を用いてLightGBMモデルを解釈し、最も重要な予測変数を同定し、各SA予測への個々の寄与度を定量化。
• SHAP値に基づく特徴量選択を実施し、モデル性能の向上と過学習の低減を図った。
• 予測値と実測値の間の平均二乗誤差（RMSE）0.121、平均絶対誤差（MAE）0.096、相関係数0.719を用いて、モデル性能を検証。

実験結果

リサーチクエスチョン

• RQ1 条件付き自動運転における運転継承遷移時、眼動追跡データのみでリアルタイムに状況認識（SA）を予測可能か？
• RQ2 凝視持続時間、瞳孔径、スキャベーション振幅などの特定の眼動追跡特徴量のうち、SAを最も効果的に予測するものは何か？
• RQ3 個々の眼動追跡変数はSA予測にどのように寄与しており、その影響は正または負のどちらの方向か？
• RQ4 SHAP値は、ドライバーのSA文脈における木構造ベースの機械学習モデルの予測を効果的に解釈可能にし、実用的洞察を提供できるか？
• RQ5 追加の生理的または行動的入力なしに、眼動追跡データのみで学習したモデルが、強力な性能を維持できるか？

主な発見

• 眼動追跡データのみで学習したLightGBMモデルは、予測値と実測値のSA間に相関係数0.719を達成し、RMSEは0.121、MAEは0.096であった。
• 凝視持続時間はSAと正の相関を示し、関連するシーン要因に長時間凝視することでSAが向上することを示唆したが、相関は中程度（r < 0.5）であった。
• 瞳孔径測定値（pupilMean と pupilStd）は重要な予測変数であったが、pupilMean の影響がpupilStd よりも強く、明確な線形関係は観察されなかった。
• スキャベーション振幅（sAmpMean）はSAと負の相関を示したが、振幅のばらつき（sAmpStd）は正の相関を示し、より多様なスキャンパターンが高いSAと関連していることを示唆した。
• SHAP分析により、SA予測において最も影響力のある特徴量は、あるケースでは「road = 26」、「difficulty = 29」、「backMirror = 7」であり、別のケースでは「backMirror = 7」、「road = 26」、「fStd = 491.7」であった。これは、特徴量の重要度が文脈依存であることを示している。
• SHAPによる解釈可能性のおかげで、特定の視覚的注意パターン（例：ミラーへの凝視、道路への注視）が予測SAにどのように上昇または低下させるかを同定でき、人間-機械システム設計に向けた実用的洞察が得られた。