[論文レビュー] Deep Learning Based Automatic Video Annotation Tool for Self-Driving Car

M. Nagarajan, K. Ganesan|arXiv (Cornell University)|Apr 19, 2019

Video Surveillance and Tracking Methods参考文献 14被引用数 9

ひとこと要約

本稿では、自己走行車向けに、物体検出にYOLOとRetinaNet、分類にResNet-50とVGG-19、レーン検出にLaneNet、オブジェクト追跡にDeepSortを統合した、深層学習ベースの自動動画アノテーションツールを提案する。このツールは人間のアノテーションと比較して83%の精度を達成し、GPU上で530フレームの動画を人間の1200倍の速さで処理する。これにより、アノテーション時間は大幅に短縮されつつ、高い精度を維持できる。

ABSTRACT

In a self-driving car, objection detection, object classification, lane detection and object tracking are considered to be the crucial modules. In recent times, using the real time video one wants to narrate the scene captured by the camera fitted in our vehicle. To effectively implement this task, deep learning techniques and automatic video annotation tools are widely used. In the present paper, we compare the various techniques that are available for each module and choose the best algorithm among them by using appropriate metrics. For object detection, YOLO and Retinanet-50 are considered and the best one is chosen based on mean Average Precision (mAP). For object classification, we consider VGG-19 and Resnet-50 and select the best algorithm based on low error rate and good accuracy. For lane detection, Udacity's 'Finding Lane Line' and deep learning based LaneNet algorithms are compared and the best one that can accurately identify the given lane is chosen for implementation. As far as object tracking is concerned, we compare Udacity's 'Object Detection and Tracking' algorithm and deep learning based Deep Sort algorithm. Based on the accuracy of tracking the same object in many frames and predicting the movement of objects, the best algorithm is chosen. Our automatic video annotation tool is found to be 83% accurate when compared with a human annotator. We considered a video with 530 frames each of resolution 1035 x 1800 pixels. At an average each frame had about 15 objects. Our annotation tool consumed 43 minutes in a CPU based system and 2.58 minutes in a mid-level GPU based system to process all four modules. But the same video took nearly 3060 minutes for one human annotator to narrate the scene in the given video. Thus we claim that our proposed automatic video annotation tool is reasonably fast (about 1200 times in a GPU system) and accurate.

研究の動機と目的

• 手動ラベル付けに依存しない自己走行車向けの自動動画アノテーションシステムの開発。
• 物体検出、分類、レーン検出、オブジェクト追跡の各タスクに最適な深層学習モデルを比較・選定すること。
• 人間アノテーションとの比較を通じて、提案手法の精度および処理時間の性能を評価すること。
• エンドツーエンドの深層学習パイプラインを用いて、動画データからリアルタイムでのシーン解説を可能にすること。

提案手法

• 物体検出にはYOLOとRetinaNet-50を用い、平均平均精度（mAP）に基づいて最良のモデルを選定する。
• 分類にはVGG-19とResNet-50を精度と誤差率を用いて評価し、最適なモデルを選定する。
• レーン検出にはUdacityの「Lane Lineの検出」と深層学習ベースのLaneNetを比較し、より高い精度を示した方を採用する。
• オブジェクト追跡にはUdacityの追跡アルゴリズムとDeepSortを比較し、追跡の一貫性と運動予測精度に基づいてDeepSortを選定する。
• 最終的なアノテーションパイプラインは、最良のパフォーマンスを示したモデルを統合し、フレームを逐次処理する。
• 性能評価は、1フレームあたり約15個のオブジェクトを含む530フレームの動画（1035×1800 px）を対象とし、人間によるアノテーション結果を基準とする。

実験結果

リサーチクエスチョン

• RQ1 自己走行車の動画ストリームにおける物体検出において、どの深層学習モデルが最も高い平均平均精度（mAP）を達成するか？
• RQ2 物体認識タスクにおいて、VGG-19とResNet-50のどちらの分類ネットワークがより低い誤差率と高い精度を達成するか？
• RQ3 Udacityの「Lane Lineの検出」のような従来手法と比較して、深層学習ベースのLaneNetはレーン検出精度でどのように優れているか？
• RQ4 UdacityのアルゴリズムとDeepSortのどちらが、フレーム間でのオブジェクトの同一性をより良く維持し、運動をより正確に予測できるか？
• RQ5 自動化ツールは、処理時間を短縮しつつ、人間レベルのアノテーション精度にどの程度まで近づけるか？

主な発見

• 提案された自動動画アノテーションツールは、人間によるアノテーション結果と比較して83%の精度を達成した。
• GPU搭載システムでは、530フレームの動画を2.58分で処理したのに対し、人間のアノテーターは3060分を要した。処理速度は1200倍向上した。
• CPUベースのシステムでは、同じ動画を43分で処理したため、ハードウェア依存性が顕著に現れた。
• 物体検出にはYOLOとRetinaNet-50を評価し、mAPに基づいて最良のモデルを選定したが、要約では明確に特定されていない。
• 誤差率が低く、精度が高いため、ResNet-50はVGG-19を上回った。
• LaneNetは、Udacityの「Lane Lineの検出」アルゴリズムに比べ、優れたレーン検出性能を示した。