[論文レビュー] RST-MODNet: Real-time Spatio-temporal Moving Object Detection for Autonomous Driving

Mohamed Ramzy, Hazem Rashed+2 more|arXiv (Cornell University)|Dec 1, 2019

Advanced Neural Network Applications参考文献 38被引用数 16

ひとこと要約

RST-MODNet は、RGB 画像と光流マップを統合し、ConvLSTM や GRU を用いた複数段階の時空間的注意層を統合することで、自律走行における空間的・時間的移動物体検出のためのリアルタイムでエンドツーエンドの CNN アーキテクチャを提案する。ベースラインより相対的に 8% の精度向上を達成し、23 fps で動作する。これは最先端手法の 3 倍速く、運動マスクの時間的整合性を保証する。

ABSTRACT

Moving Object Detection (MOD) is a critical task for autonomous vehicles as moving objects represent higher collision risk than static ones. The trajectory of the ego-vehicle is planned based on the future states of detected moving objects. It is quite challenging as the ego-motion has to be modelled and compensated to be able to understand the motion of the surrounding objects. In this work, we propose a real-time end-to-end CNN architecture for MOD utilizing spatio-temporal context to improve robustness. We construct a novel time-aware architecture exploiting temporal motion information embedded within sequential images in addition to explicit motion maps using optical flow images.We demonstrate the impact of our algorithm on KITTI dataset where we obtain an improvement of 8% relative to the baselines. We compare our algorithm with state-of-the-art methods and achieve competitive results on KITTI-Motion dataset in terms of accuracy at three times better run-time. The proposed algorithm runs at 23 fps on a standard desktop GPU targeting deployment on embedded platforms.

研究の動機と目的

• 自己移動による歪みが静的物体の認識を妨える動的自律走行シーンにおける正確な移動物体検出の課題に対処すること。
• 明示的（光流）および暗黙的（連続する RGB）運動情報の両方を活用することで、運動セグメンテーションのロバスト性と時間的整合性を向上させること。
• 推論速度を最適化することで、精度を損なわず、組み込みプラットフォームに適したリアルタイムで実装可能なネットワークを設計すること。
• 時間的注意アーキテクチャ（早期、後期、中間レベル）の違いが運動検出性能および時間的安定性に与える影響を評価すること。

提案手法

• 時空間的動的をモデル化するため、複数段階で RGB 画像と光流マップを ConvLSTM や GRU 層を用いて融合する時間的注意型 CNN アーキテクチャを構築する。
• 複数段階の特徴抽出と精練を実現する統合戦略を実装し、時間経過に伴って特徴表現を向上させる。
• 標準的な GPU や組み込みシステムでもリアルタイム推論を維持できる軽量バックボーン（ShuffleNet）を採用する。
• 時間的拡張を実装し、連続するフレームと光流マップをネットワークの入力としてスタックすることで、空間的・時間的運動パターンのエンドツーエンド学習を可能にする。
• 最終分類層の直前に運動情報を統合する後期統合戦略を導入し、マスクの整合性を向上させる。
• 早期、後期、中間レベルの時間的特徴統合を比較するアブレーションスタディを実施し、精度と速度の最適なアーキテクチャを特定する。

実験結果

リサーチクエスチョン

• RQ1 ConvLSTM などの時間的注意層を統合することで、標準的な二入力（RGB＋光流）ネットワークと比較して、運動セグメンテーションの精度と時間的整合性はどの程度向上するか？
• RQ2 自律走行における移動物体検出において、時間的モデリングを配置する最適な位置（早期、後期、中間レベル）はどこか？
• RQ3 明示的運動（光流）と暗黙的運動（時間的連続性）を組み合わせることで、単独で使用する場合と比較して、検出性能はどの程度向上するか？
• RQ4 軽量でエンドツーエンドのネットワークは、組み込みデプロイメントに適したリアルタイム推論速度を維持しながら、最先端の精度を達成できるか？
• RQ5 提案アーキテクチャは、単一フレームまたは二フレームの運動推定に依存するベースライン手法と比較して、運動マスクの時間的不整合をどの程度低減できるか？

主な発見

• 提案された RST-MODNet は、KITTI-Motion データセットにおいてベースライン手法より相対的に 8% の精度向上を達成し、空間的・時間的モデリングの有効性を示した。
• ConvLSTM や GRU を用いた中間レベルの時間的注意アーキテクチャは、RGB+Flow ベースラインに対して 4% の絶対的精度向上を達成した。GRU の方が構造が単純なため、わずかに高速な推論を実現した。
• 標準デスクトップ GPU で 23 fps で動作し、SOTA の SMSNet よりも 3 倍速く、同等の精度を維持した。
• 定性的な結果から、本手法は時間的に整合性のある運動マスクをシーケンス全体にわたって生成しているのに対し、ベースラインの RGB+Flow モデルはフレッカリングや不整合を示していることが明らかになった。
• アブレーションスタディの結果、時間的特徴の「中間レベル」統合が精度と効率のバランスが最良であり、早期および後期統合戦略を上回った。
• 光流と複数段階の時間的モデリングを統合することで、静的物体に対する誤検出が顕著に減少し、複雑な都市部走行シーンにおけるロバスト性が向上した。