[論文レビュー] Joint Attention in Driver-Pedestrian Interaction: from Theory to Practice

Amir Rasouli, John K. Tsotsos|arXiv (Cornell University)|Feb 7, 2018

Human-Automation Interaction and Safety参考文献 364被引用数 29

ひとこと要約

本稿では、都市部の交通状況における自動運転車両と歩行者の間の相互作用を向上させるために、共有注意と非言語的コミュニケーションをモデル化することで、共同注意フレームワークを提案する。センサデータと行動モデリングを用いて視覚的認識、文脈的推論、意思決定予測を統合し、リアルタイムでの歩行者横断予測と協調的意思決定を実現するタスク指向のアプローチを提供する。

ABSTRACT

Today, one of the major challenges that autonomous vehicles are facing is the ability to drive in urban environments. Such a task requires communication between autonomous vehicles and other road users in order to resolve various traffic ambiguities. The interaction between road users is a form of negotiation in which the parties involved have to share their attention regarding a common objective or a goal (e.g. crossing an intersection), and coordinate their actions in order to accomplish it. In this literature review we aim to address the interaction problem between pedestrians and drivers (or vehicles) from joint attention point of view. More specifically, we will discuss the theoretical background behind joint attention, its application to traffic interaction and practical approaches to implementing joint attention for autonomous vehicles.

研究の動機と目的

• 都市部の環境における自動運転車両と歩行者の間の有効な通信メカニズムの欠如に取り組む。
• 共有注意および文脈的キューを考慮しない現在の歩行者行動予測システムの限界を克服する。
• 自動運転車両が共同注意メカニズムを通じて歩行者の意思を推定できる統一フレームワークを開発する。
• リアルタイムでの視覚的認識、文脈的推論、および非言語的キュー分析（例：目線の接触、頭部の向き）を統合し、動的な交通相互作用を実現する。
• 理論的共同注意モデルと自動運転システムにおける実装のギャップを埋める。

提案手法

• 人間の社会的認知に基づく共同注意フレームワークを採用し、ドライバと歩行者の間の相互認識をモデル化する。
• マルチモーダルセンサデータ（例：カメラ、LiDAR）を用いて、歩行者、車両、交差点や信号などの環境的特徴を検出・追跡する。
• データ駆動型アプローチに依存するのではなく、タスクの関連性に基づいて注目領域を動的に焦点化する視覚的注目モデルを適用する。
• 車両の速度、歩行者の頭部の向き、グループの人数、道路の幾何構造などの文脈的要因を意思決定推定に統合する。
• ポーズ推定とアクティビティ認識を統合し、歩行者の行動（例：横断、待機）を推定し、将来的な行動を予測する。
• 観察されたキュー（例：目線の接触、ジェスチャー）を意思に結びつける推論モジュールを実装し、交通相互作用における協調的意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共同注意メカニズムはどのようにモデル化され、自動運転車両と歩行者の相互作用を向上させるために適用されるか？
• RQ2 歩行者の横断意思を最も効果的に予測する文脈的および行動的キュー（例：目線の接触、頭部の向き、車両の接近）は何か？
• RQ3 自動運転車両はどのようにリアルタイムの交通状況で非言語的コミュニケーションを効果的に解釈できるか？
• RQ4 複雑で動的な都市環境において、現在の認識および意思決定予測システムが直面する限界は何か？
• RQ5 タスク指向の視覚的注目モデルは、データ駆動型モデルに比べて、リアルタイムのドライブアプリケーションでどのように優れているか？

主な発見

• 現行の歩行者検出およびアクティビティ認識アルゴリズムは、明るさが不足する状況や悪天候下でも人間レベルの性能に達しない。
• 大多数の既存の意思決定推定システムは、信頼性の高い視覚的認識パイプラインと統合されておらず、複雑なシーンで予測が不安定になる。
• 目線の接触や頭部の向きといった非言語的コミュニケーションキューは、歩行者の横断行動を強く予測するが、現在の自動運転車両システムではあまり活用されていない。
• 最先端のアルゴリズムはしばしばスクリプト化された、あるいは非自然なデータで訓練されており、実際の交通状況への一般化が制限されている。
• 信頼性の高い歩行者相互作用を実現するためには、認識、推論、共同注意モデリングを統合した統一的かつ文脈に配慮したシステムの構築が不可欠である。
• 既存のシステムは、信号制御付き交差点と信号なし交差点、あるいは細い道と広い道といった多様な都市環境において一般化に失敗している。