[論文レビュー] Intention Recognition of Pedestrians and Cyclists by 2D Pose Estimation

Zhijie Fang, Antonio M. López|arXiv (Cornell University)|Oct 9, 2019

Autonomous Vehicle Technology and Safety参考文献 33被引用数 8

ひとこと要約

本論文は、単眼2次元ポーズ推定に基づく手法を提案し、歩行者と自転車乗りの意思を認識する——具体的には、歩行者が渡りたいかどうか、自転車乗りがどの腕信号を出しているか——ことを目的としている。深層学習を用いて単一画像から骨格特徴を抽出することで、両方のタスクで最先端の性能を達成しており、時間的文脈を最小限に抑えた状態で高い精度を示している。

ABSTRACT

Anticipating the intentions of vulnerable road users (VRUs) such as pedestrians and cyclists is critical for performing safe and comfortable driving maneuvers. This is the case for human driving and, thus, should be taken into account by systems providing any level of driving assistance, from advanced driver assistant systems (ADAS) to fully autonomous vehicles (AVs). In this paper, we show how the latest advances on monocular vision-based human pose estimation, i.e. those relying on deep Convolutional Neural Networks (CNNs), enable to recognize the intentions of such VRUs. In the case of cyclists, we assume that they follow traffic rules to indicate future maneuvers with arm signals. In the case of pedestrians, no indications can be assumed. Instead, we hypothesize that the walking pattern of a pedestrian allows to determine if he/she has the intention of crossing the road in the path of the ego-vehicle, so that the ego-vehicle must maneuver accordingly (e.g. slowing down or stopping). In this paper, we show how the same methodology can be used for recognizing pedestrians and cyclists' intentions. For pedestrians, we perform experiments on the JAAD dataset. For cyclists, we did not found an analogous dataset, thus, we created our own one by acquiring and annotating videos which we share with the research community. Overall, the proposed pipeline provides new state-of-the-art results on the intention recognition of VRUs.

研究の動機と目的

• 行動を開始する前に対応する歩行者・自転車乗りの意思を予測することで、自律走行および支援走行の安全性と快適性を向上させること。
• 交通ルールに基づく意思認識に不可欠な、自転車乗りの腕信号を含むラベル付きデータセットの不足に取り組むこと。
• 単眼画像からの2次元人体ポーズ推定が、ステレオやオプティカルフロー、エゴモーション補正を必要とせずに、信頼性の高い意思認識に十分な情報を提供できることを実証すること。
• 研究利用を目的として、219件のラベル付き自転車乗りの腕信号行動を含む新規公開データセットCASRを構築・公開すること。

提案手法

• 本手法は、深層畳み込みニューラルネットワーク（CNN）を用いて単眼RGB画像から2次元人体キーポイント骨格を推定し、その骨格を意思認識の基盤とする。
• 動きのダイナミクスを捉えるために、1～14フレームの時間的スライディングウィンドウを用い、キーポイント位置および時間経過に伴う相対的角・距離から特徴を抽出する。
• 関節角（例：Θ(4,6,7)）や関節間距離（例：L(8,7)）などの幾何的特徴を骨格から計算し、ポーズ構成を表現する。
• これらの幾何的特徴を学習対象としてランダムフォレスト（RF）分類器を訓練し、歩行者の渡り／非渡り、または自転車乗りの腕信号（左折、右折、停止など）を予測する。
• 本手法は、歩行者意思認識のためのJAADデータセットおよび、自転車乗りの腕信号を対象とした新たに収集したCASRデータセットで評価される。
• ノイズ耐性の分析として、キーポイント推定に20%および30%のノイズを注入し、実世界における信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 単眼画像からの2次元ポーズ推定は、歩行者が実際に渡り始めることなく、その渡り意思を信頼性高く予測できるか？
• RQ2 限られたラベル付きデータにかかわらず、同じポーズベースのパイプラインが、自転車乗りの腕信号（例：左折、右折、停止）を高い精度で認識できるか？
• RQ3 2次元骨格から導出される幾何的特徴は、意思認識にどのように寄与するか？また、どの特徴が最も判別能が高いか？
• RQ4 スライディングウィンドウによる時間的文脈は、歩行者および自転車乗りの両方の認識性能をどの程度向上させるか？
• RQ5 実世界のシナリオにおけるノイズの多いキーポイント推定に対して、本手法はどの程度耐性を示すか？

主な発見

• 本手法は、歩行者渡り／非渡り分類タスクにおいて、JAADデータセットで、従来のCNNベースおよびポーズベースの手法を上回る最先端の性能を達成した。
• 新たに構築したCASRデータセットでは、自転車乗りの腕信号分類において高い精度を達成しており、質的評価でも困難な状況下でも正しく認識されていることが示された。
• 分類に最も関連性の高い特徴は、腕および上半身に関連する関節角（例：Θ(4,6,7)）および腕と上半身のキーポイント間距離（例：L(8,7)）であり、ポーズ推定において腕の姿勢が意思推定に重要であることが示された。
• 自転車乗りの意思認識において、現在のフレーム（T=1）および後のフレーム（T=14）からの特徴が両方とも重要であり、信号の提示から約200–300ms後に安定した認識が得られるようになった。
• キーポイント推定に20–30%のノイズが加えられても、性能に顕著な低下が見られず、実世界での実用的妥当性が示された。
• 分類に寄与する上位25の特徴は、T=1では全特徴空間の約2%、T=14では約0.15%にとどまることから、正確な予測を駆動するのは、少数の解釈可能な幾何的特徴であることが示された。