[論文レビュー] Predicting Take-over Time for Autonomous Driving with Real-World Data: Robust Data Augmentation, Models, and Evaluation

Akshay Rangesh, Nachiket Deo+3 more|arXiv (Cornell University)|Jul 27, 2021

Sleep and Work-Related Fatigue被引用数 5

ひとこと要約

本論文は、ドライバー向けカメラからの実世界データを用いて、自動運転におけるバックオーバー時間（TOT）を予測する耐障害性の高いディープラーニングフレームワークを提案する。限られた実世界のバックオーバーイベントに対して、新規のデータ拡張とトランスファー学習を適用することで、顔、手、足、注視方向の追跡から得られる中位および高次の特徴を活用し、1秒未塔の精度でTOTを予測するモデルを構築した。これは、単に生データで訓練されたモデルと比較して顕著に優れた性能を示した。

ABSTRACT

Understanding occupant-vehicle interactions by modeling control transitions is important to ensure safe approaches to passenger vehicle automation. Models which contain contextual, semantically meaningful representations of driver states can be used to determine the appropriate timing and conditions for transfer of control between driver and vehicle. However, such models rely on real-world control take-over data from drivers engaged in distracting activities, which is costly to collect. Here, we introduce a scheme for data augmentation for such a dataset. Using the augmented dataset, we develop and train take-over time (TOT) models that operate sequentially on mid and high-level features produced by computer vision algorithms operating on different driver-facing camera views, showing models trained on the augmented dataset to outperform the initial dataset. The demonstrated model features encode different aspects of the driver state, pertaining to the face, hands, foot and upper body of the driver. We perform ablative experiments on feature combinations as well as model architectures, showing that a TOT model supported by augmented data can be used to produce continuous estimates of take-over times without delay, suitable for complex real-world scenarios.

研究の動機と目的

• 自動運転研究における限られた実世界のバックオーバーイベントデータの課題に対処すること。
• 複数のカメラビューからのドライバー状態特徴に基づいて、バックオーバー時間（TOT）を予測する耐障害性の高い機械学習モデルを開発すること。
• 希少なバックオーバーデータに対して、新規のデータ拡張およびトランスファー学習スキームを用いることで、モデルの汎化性能と性能を向上させること。
• 顔、手、足、注視方向といった異なるドライバー状態特徴が、TOT予測精度に与える相対的な重要性を評価すること。
• 高自動化走行における安全で適切なタイミングの制御移行を実現するため、リアルタイムで継続的なTOT推定を可能にすること。

提案手法

• 限られた実世界のバックオーバーデータセットを合成的に拡張するためのデータ拡張戦略を提案し、モデルの汎化性能を向上させること。
• 顔（注視方向）、手、足の3つのカメラビューからの逐次的特徴を処理するため、独立した深層再帰ネットワーク（ID LSTMs）を用いること。
• 顔、手、足、注視方向の追跡に特化したコンピュータビジョンモデルをドライバー向けカメラ映像に適用し、中位および高次の特徴を抽出すること。これには、3次元手の距離と手と物体の相互作用が含まれる。
• 不確実性をモデル化するため、K=3のモードを持つマルチモーダル出力ヘッドを採用し、予測の耐障害性を向上させること。
• 拡張データ上でトランスファー学習を用いてモデルを訓練し、特徴の組み合わせやモデルアーキテクチャに関するアブレーションスタディを実施すること。
• テストセットにおける平均絶対誤差（MAE）を用いて性能を評価し、それぞれのドライバー状態（目が道路を向いている、足がペダルにあり、手がハンドルにある、および全体のTOT）に対して別々の指標を用いること。

実験結果

リサーチクエスチョン

• RQ1 限られた実世界のバックオーバーイベントデータで訓練されたTOT予測モデルにおいて、データ拡張は性能にどのように寄与するか？
• RQ2 注視方向、手、足、上半身のうち、どのドライバー状態特徴が、正確なTOT予測に最も寄与しているか？
• RQ3 複数のカメラビューからの特徴を統合するマルチモーダルディープラーニングモデルは、単一モーダルまたは単一特徴ベースのベースラインを上回る性能を示せるか？
• RQ4 トランスファー学習およびモデルアーキテクチャの選択が、TOT予測の精度と汎化性能にどの程度影響を与えるか？
• RQ5 トレーニングデータ量の増加に伴い、モデル性能はどのように変化するか？また、収益逓減の傾向を示すか？

主な発見

• 拡張データで訓練されたID LSTMモデルは、全体のTOT MAEが0.9144秒に達し、定数予測ベースライン（6.2073秒）を著しく上回った。
• 特にステアリングホイルへの3次元距離と手と物体の相互作用に関する手関連特徴が、性能向上に最も寄与し、ベースライン比でMAEを50％以上削減した。
• 足関連特徴の導入により予測誤差が顕著に減少し、正確なTOT推定には専用の足カメラの設置が重要であることが示された。
• 注視方向特徴は比較的低い分散を示し、情報量が少なかった。これは、バックオーバー時の目が道路を向いている行動が非常に予測可能であるためである。
• ステレオ手特徴の追加はわずかな向上をもたらしたため、単眼手追跡にセマンティック特徴を組み合わせるだけで、高い性能が達成可能であることが示された。
• 追加のトレーニングデータによる性能向上はほとんど見られず、現在のデータスケールでは収益逓減の状態に達していると考えられた。