[論文レビュー] Action Detection from a Robot-Car Perspective

Valentina Fontana, Gurkirt Singh+4 more|arXiv (Cornell University)|Jul 30, 2018

Anomaly Detection Techniques and Applications参考文献 21被引用数 3

ひとこと要約

本論文は、オックスフォード・ロボットカー・データセットを拡張して、道路利用者の行動、位置、身元をマルチラベルでアノテートした、自律走行における時空間的行動検出のための最初のベンチマークであるRoad Event and Activity Detection（READ）データセットを紹介する。オンライン行動検出モデルを用いて、初期テストセットで17.5%のフレーム-mAPを達成し、自律走行システムにおけるリアルタイムでビジョンベースの意思決定のための有効性を示している。

ABSTRACT

We present the new Road Event and Activity Detection (READ) dataset, designed and created from an autonomous vehicle perspective to take action detection challenges to autonomous driving. READ will give scholars in computer vision, smart cars and machine learning at large the opportunity to conduct research into exciting new problems such as understanding complex (road) activities, discerning the behaviour of sentient agents, and predicting both the label and the location of future actions and events, with the final goal of supporting autonomous decision making.

研究の動機と目的

• 自律走行シナリオにおけるリアルタイムでビジョンベースの行動検出に特化したデータセットの不足に対処すること。
• 自律走行車両（AV）の視点から、歩行者、自転車乗り、車両などすべての道路利用者を含む複雑な道路イベントの検出、局所化、予測を可能にすること。
• オンラインでリアルタイムの行動検出のためのベンチマークを提供することで、安全で信頼性が高く知的な自律走行車両の開発を支援すること。
• 現在の行動検出ベンチマークを、多様な現実世界の道路状況および道路エージェント間の複雑な相互作用を含めるように拡張すること。
• 将来的な研究の基盤を築くために、時間的行動チューブ連結およびドライブシーンにおけるマルチラベルイベント構成に関する研究を促進すること。

提案手法

• オックスフォード・ロボットカー・データセットのサブセットに、(i) 自律走行車両（AV）からの相対的位置、(ii) 道路利用者タイプ（例：歩行者、自転車乗り、車両）、(iii) 行動（例：横断、曲がり、停止中）の3種類のラベルを付与する。
• 細分化された構成的ラベリングを可能にするマルチラベルアノテーション方式を採用し、より豊かなイベント表現を実現する。
• Singhら[23]に基づくオンラインでリアルタイムの行動検出モデルを、READv1データセットの外観ストリームのみを用いて、40Kイテレーション程度で30K～40Kイテレーションの学習を実施し、ベース学習率を0.001に設定する。
• 初期リリースでは完全な時間的リンクが存在しないため、交差オーバーラップ（IoU）が0.5以上でのフレームレベル平均適合率（frame-AP）を用いて性能を評価する。
• 今後のバージョンのデータセットでは、オプティカルフロー・ストリームの学習と統合戦略の拡張を計画している。
• 2018年10月までに、時間的リンクとマルチラベルアノテーションを備えた完全なデータセットをGitHubに公開し、ベースラインコードとドキュメンテーションを併記する予定である。

実験結果

リサーチクエスチョン

• RQ1 ビジョンベースのシステムは、自律走行車両の視点から、歩行者、自転車乗り、車両などの多様な道路利用者の行動をリアルタイムで検出し、局所化できるか？
• RQ2 現実の走行シナリオにおいて、モデルの行動検出性能は、異なる道路利用者タイプや行動クラスによってどのように変化するか？
• RQ3 データセット内のクラス不均衡が検出精度に与える影響はどの程度であり、データ拡張およびアノテーション戦略によってどのように緩和できるか？
• RQ4 時間的リンクが整っていない状況において、フレームレベルの指標（frame-AP）が動画レベル評価（video-mAP）の代理として妥当に機能するか？
• RQ5 マルチラベルアノテーション方式は、自律走行システムにおける複雑で合成的な道路イベントのモデリングをどのように改善できるか？

主な発見

• READv1データセットには、4343枚のテストフレームにまたがり、27種類の異なるイベントタイプを含む、合計18,027件のアノテート済みインスタンスが含まれている。これらのイベントは、歩行者、自転車乗り、車両、交通信号を含む。
• READv1における初期のオンライン行動検出モデルのフレーム-mAPは17.5%であり、困難な現実世界の走行ベンチマークにおいて中程度のベースライン性能を示している。
• 性能はインスタンス数と強く相関しており、頻度が高いクラス（例：「車両がレーン内で進行中」：3,098件）は高いAP（45.8%）を達成するが、希少なクラス（例：「車両が左に合図中」：1件）は0.0%のスコアとなる。
• 高い性能を示すクラスには「信号が緑」（58.6% AP）と「信号が赤」（52.7% AP）があり、静的で予測可能な信号は検出が容易であることが示唆される。
• 低性能のクラス、例えば「不法に横断中の歩行者」（0.0% AP）や「自転車乗りが左に曲がり」（0.0% AP）は、データが不足しており、より多くのデータや改善されたモデリングが求められる。
• 著者らは、クラス不均衡と時間的リンクの欠如を主な制約と特定し、今後のデータセットリリースで追加のアノテーションとチューブレベルの真値を提供することでこれらを是正する計画である。