[論文レビュー] Real-time Detection, Tracking, and Classification of Moving and Stationary Objects using Multiple Fisheye Images

Iljoo Baek, Albert Davies+3 more|arXiv (Cornell University)|Mar 16, 2018

Video Surveillance and Tracking Methods参考文献 12被引用数 6

ひとこと要約

本論文では、車両に搭載された4台のファイッシュアイカメラを用いて、動く物体および静止物体の検出、追跡、分類をリアルタイムで行うシステムを提示する。ファイッシュアイの映像を統合して1つの映像ストリームにし、CPUを用いたモーション検出とGPUアクセラレートされたディープラーニングを組み合わせることで、実機上で15 fpsを達成し、正確性81.1%、再現率60.5%を達成した。画像のアンウェーブ（歪み補正）を実施せず、高コストな計算負荷も避けたため、都市部における低速の自律走行を安全に実現できる。

ABSTRACT

The ability to detect pedestrians and other moving objects is crucial for an autonomous vehicle. This must be done in real-time with minimum system overhead. This paper discusses the implementation of a surround view system to identify moving as well as static objects that are close to the ego vehicle. The algorithm works on 4 views captured by fisheye cameras which are merged into a single frame. The moving object detection and tracking solution uses minimal system overhead to isolate regions of interest (ROIs) containing moving objects. These ROIs are then analyzed using a deep neural network (DNN) to categorize the moving object. With deployment and testing on a real car in urban environments, we have demonstrated the practical feasibility of the solution. The video demos of our algorithm have been uploaded to Youtube: https://youtu.be/vpoCfC724iA, https://youtu.be/2X4aqH2bMBs

研究の動機と目的

• 自律走行車両の周囲に存在する動く物体および静止物体を、都市部環境でリアルタイムに検出・分類すること。
• 画像のアンウェーブ処理を回避し、CPUおよびGPUで統合されたファイッシュアイストリームを直接処理することで、システムのオーバーヘッドを最小限に抑えること。
• 事前に定義された注目領域（ROI）において、信頼性の高い障害物検出を実現し、低速の自律走行を支援すること。
• 既存の自律走行車両プラットフォームに容易に統合可能なモジュラーなシステムを構築すること。
• x86、TI TDA2X、NVIDIA TX2の複数のプラットフォームおよび実際の走行環境での評価を通じて、性能を検証すること。

提案手法

• 4台のファイッシュアイカメラの映像ストリームを統合し、1つの映像シーケンスにすることで、処理の複雑さを低減する。
• 光学フローを用いたCPUベースのモーション検出により、動く物体を特定し、モーションベクトルを生成する。
• モーションベクトルデータに基づいて事前に定義された注目領域（ROIs）を設定し、処理を関連する領域に限定する。
• モーションが停止しても物体の存在を維持する追跡モジュールを採用することで、誤検出（偽陰性）を低減する。
• ROIs内の物体をリアルタイムで分類するために、GPUアクセラレートされたMobileNet_v1_1.0_224モデルを採用する。
• NVIDIA TX2ではゼロコピーメモリを活用し、CPUとGPU間のデータ転送遅延を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 歪み補正を行わず、生のファイッシュアイ画像を用いてリアルタイムの物体検出・分類システムを構築可能か？
• RQ2 低速の自律走行において、高い検出精度を維持しつつ、計算負荷をどのように最小限に抑えることができるか？
• RQ3 追跡モジュールを追加することで、物体検出における再現率はどの程度向上するか。一方、正確性はどの程度低下するか？
• RQ4 高歪みを持つファイッシュアイ画像において、MobileNetとFaster R-CNNの速度および正確性の面での比較は？
• RQ5 モジュラー設計により、計算能力が異なる実際の車両プラットフォームに効果的に展開・評価できるか？

主な発見

• MobileNet_v1_1.0_224モデルを用いて、実車両ハードウェア上で15 fpsを達成し、リアルタイム要件を満たした。
• 追跡モジュールの追加により、再現率が低値から60.5%まで向上したが、静止物体に対する誤検出の影響で正確性は81.1%まで低下した。
• Faster R-CNNは、歪みが強い画像端縁部での検出が不十分なため、ファイッシュアイ画像において顕著に正確性が低かった（60.5%）。
• NVIDIA TX2におけるゼロコピーメモリの活用により、データ転送遅延が低減され、エンドツーエンドの性能が向上した。
• モジュラー設計により、検出、追跡、分類モジュールのパフォーマンス分解が容易に可能となった。
• x86、TI TDA2X、NVIDIA TX2の複数のプラットフォームで一貫した性能を示し、実都市環境での実用的妥当性を実証した。