[論文レビュー] Joint Attention in Autonomous Driving (JAAD)

Iuliia Kotseruba, Amir Rasouli+1 more|arXiv (Cornell University)|Sep 15, 2016

Adversarial Robustness in Machine Learning参考文献 26被引用数 83

ひとこと要約

本稿では、自動運転における共同注目行動を捉えた大規模で多様な実世界の走行シーンから構成されるJAAD（Joint Attention in Autonomous Driving）データセットを紹介する。このデータセットには、注釈付きのバウンディングボックス、照明や速度などの物理的状態、および天候、場所、人口統計的要因の違いを反映した行動的文脈が含まれており、自動運転シナリオにおける視覚的複雑性と社会的相互作用の理解を向上させることを可能にする。

ABSTRACT

In this paper we present a novel dataset for a critical aspect of autonomous driving, the joint attention that must occur between drivers and of pedestrians, cyclists or other drivers. This dataset is produced with the intention of demonstrating the behavioral variability of traffic participants. We also show how visual complexity of the behaviors and scene understanding is affected by various factors such as different weather conditions, geographical locations, traffic and demographics of the people involved. The ground truth data conveys information regarding the location of participants (bounding boxes), the physical conditions (e.g. lighting and speed) and the behavior of the parties involved.

研究の動機と目的

• 自動運転における交通参加者同士の共同注目行動を包括的に捉えた、現実世界のデータセットが不足しているという問題に対処すること。
• さまざまな環境的および人口統計的条件下におけるドライバーや歩行者・自転車乗りの行動のばらつきをモデル化すること。
• 視覚的複雑性、シーン理解、社会的相互作用モデリングに関する研究を支援する、豊富に注釈が施されたデータセットを提供すること。
• 動的で現実的かつ文脈に富んだ変動が激しい走行シナリオを考慮した、頑健な認識システムの開発を可能にすること。

提案手法

• 都市部および準都市部のさまざまな都市と天候条件下で、複数の高解像度カメラおよびGPS/IMUセンサーを用いたデータ収集。
• 物理的状態（照明、速度、歩行者・自転車乗りの行動など）のメタデータを付加した、交通参加者の手動によるバウンディングボックスによる注釈。
• 年齢や性別などの多様な人口統計的データと交通密度を統合し、現実世界のばらつきを反映すること。
• 視線の向きや相互作用の意図を含む共同注目ダイナミクスを捉えるための構造化された注釈パイプラインの設計。
• 複雑な視覚的条件下での行動予測およびシーン理解のためのモデルを、このデータセットを用いて訓練および評価すること。
• ロボット工学およびコンピュータビジョン分野における自動運転アプリケーションのアルゴリズムベンチマークに、このデータセットを応用すること。

実験結果

リサーチクエスチョン

• RQ1 さまざまな天候条件および地理的場所において、交通シーンの視覚的複雑性はどのように変化するか？
• RQ2 現実世界の走行シナリオにおいて、ドライバーと歩行者／自転車乗りの間で生じる共同注目行動にどのような行動パターンが現れるか？
• RQ3 年齢や性別などの人口統計的要因および交通密度は、共同注目行動にどのように影響を与えるか？
• RQ4 共同注目注釈を統合することで、自動運転車における行動予測およびシーン理解の精度はどの程度向上するか？
• RQ5 照明や速度などの物理的状態の統合は、複雑な走行環境におけるモデル性能をどの程度向上させるか？

主な発見

• JAADデータセットは、天候や場所の条件の違いに応じて顕著な行動のばらつきを捉えており、共同注目パターンの違いが明確に現れている。
• 雨や霧などの悪天候時および交通密度が高い状況では、シーンの視覚的複雑性が著しく増加し、認識システムの性能に影響を与える。
• 照明や速度といった注釈付きの物理的状態は、観察された共同注目イベントの頻度と種別と強く相関している。
• 歩行者の年齢や性別といった人口統計的要因は、ドライバーとの共同注目相互作用の発生確率および性質に影響を与える。
• 共同注目および文脈的情報をモデルに組み込むことで、行動予測タスクにおける性能が向上する。
• 多様な現実世界のシナリオを統合することで、JAADで訓練された認識モデルの一般化性能が、合成データや限定的データセットと比較して向上する。