[論文レビュー] Deep Learning Algorithms with Applications to Video Analytics for A Smart City: A Survey

Li Wang, Dennis Sng|arXiv (Cornell University)|Dec 10, 2015

Video Surveillance and Tracking Methods参考文献 47被引用数 80

ひとこと要約

本調査は、スマートシティにおけるビデオアナリティクスのためのディープラーニングアルゴリズムをレビューし、物体検出、トラッキング、顔認識、画像分類、シーンラベル付けに焦点を当てる。大規模な都市センサー・データ上でCNNやその他のディープアーキテクチャを活用することで、本稿はピクセル単位のシーン理解および物体認識において最先端の性能を示し、階層的特徴学習とGPU加速トレーニングの役割がスマートシティ応用の発展に寄与していることを強調する。

ABSTRACT

Deep learning has recently achieved very promising results in a wide range of areas such as computer vision, speech recognition and natural language processing. It aims to learn hierarchical representations of data by using deep architecture models. In a smart city, a lot of data (e.g. videos captured from many distributed sensors) need to be automatically processed and analyzed. In this paper, we review the deep learning algorithms applied to video analytics of smart city in terms of different research topics: object detection, object tracking, face recognition, image classification and scene labeling.

研究の動機と目的

• スマートシティのビデオアナリティクスにおけるディープラーニング応用を包括的にレビューすること。
• ディープアーキテクチャが、物体検出やシーン理解などの都市監視タスクにおける性能向上にどのように寄与するかを分析すること。
• 大規模なセンサー・データとGPUアクセラレーションが、リアルタイムのビデオアナリティクスを可能にする役割を検討すること。
• 都市監視システムにおけるラベルの曖昧さ、クラス内変動、スケーラビリティの課題を特定すること。
• シーンラベル付けの精度向上に寄与するグローバルコンテキストとローカル特徴の統合を強調すること。

提案手法

• 生のビデオおよび画像データから階層的特徴学習を実現する主なディープアーキテクチャとして、畳み込みニューラルネットワーク（CNNs）を活用する。
• 分類およびセグメンテーションタスクの最適化のため、損失層を含むエンドツーエンドの誤差逆伝播トレーニングを適用する。
• ローカルな曖昧さを解消するために、クラス事前分布と信念伝播を用いたグローバルコンテキストモデリングを実施する。
• 有向無閉路グラフRNN（DAG-RNNs）を導入し、画像ユニットにおける長距離依存関係をモデル化すると同時に、無向グラフ内のループ構造に対処する。
• RGB-Dデータのための統合的特徴学習と符号化（JFLE）フレームワークを開発し、スタックされた非線形層とスーパーピクセルベースの特徴集約を統合する。
• スーパーピクセル特徴を線形SVMで分類し、セマンティックシーンラベルに変換することで、ベンチマークデータセットにおける性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来の手法と比較して、ディープラーニングモデルは都市部のビデオ監視における物体検出およびトラッキングにどのように向上をもたらすか？
• RQ2 階層的特徴表現は、スマートシティ環境における顔認識および画像分類の向上にどのように寄与するか？
• RQ3 ローカルな曖昧性を低減するために、シーンラベル付けにおいてグローバルコンテキストと長距離依存関係を効果的にモデル化する方法は何か？
• RQ4 教師あり学習に依存するコストの高い手動ラベリングの依存度を、教師なしまたは弱教師あり学習がどの程度低減できるか？
• RQ5 リアルタイムのスマートシティ応用に不可欠な、主な技術的・インfraストラクチャ的要因（例：ビッグデータ、GPU）は何か？

主な発見

• 特にCNNを用いたディープラーニングモデルは、SiftFlow、CamVid、Barcelonaなどのベンチマークでシーンラベル付けにおいて最先端の性能を達成している。
• DAG-RNNsフレームワークは、長距離の意味的依存関係をモデル化することで判別力が著しく向上し、困難なデータセットにおいても新たな最先端の結果を達成している。
• RGB-Dシーンラベル付けのためのJFLEフレームワークは、マルチモーダルデータからの特徴の共同学習と符号化により、NYU Depthデータセットで競争力のある性能を示している。
• グローバル信念統合とメトリクス学習により、特に類似または重複するオブジェクトクラスにおいて、ローカルコンテキストの曖昧さが低減され、ラベル付けの正確性が向上している。
• 大規模なセンサー・データとGPUアクセラレーションの組み合わせにより、ディープネットワークの効率的トレーニングが可能となり、スマートシティにおけるリアルタイムのビデオアナリティクスが現実可能になった。
• ディープラーニングアプローチは、物体検出、顔認識、画像分類の分野で一貫して従来手法を上回っており、人間レベルの性能に近づいている。