[論文レビュー] Video Contents Understanding using Deep Neural Networks

Mohammadhossein Toutiaee, Abbas Keshavarzi+2 more|arXiv (Cornell University)|Apr 29, 2020

Video Surveillance and Tracking Methods参考文献 18被引用数 7

ひとこと要約

本論文は、事前学習済みのVGG-19とカスタムCNNモデルを用いた転移学習ベースの動画分類フレームワークを提案し、動画フレームから交通渋滞レベル（低、中、高）を分類する。視認性が低い状態（濃霧や雨など）でも、YOLO9000 や Google Video Intelligence API といったオブジェクト検出ベースの手法よりも優れた精度を達成する。

ABSTRACT

We propose a novel application of Transfer Learning to classify video-frame sequences over multiple classes. This is a pre-weighted model that does not require to train a fresh CNN. This representation is achieved with the advent of "deep neural network" (DNN), which is being studied these days by many researchers. We utilize the classical approaches for video classification task using object detection techniques for comparison, such as "Google Video Intelligence API" and this study will run experiments as to how those architectures would perform in foggy or rainy weather conditions. Experimental evaluation on video collections shows that the new proposed classifier achieves superior performance over existing solutions.

研究の動機と目的

• 濃霧や雨などの悪天候下で視認性が低い動画において、交通渋滞レベルを分類する課題に対処すること。
• 画像劣化に伴い失敗する、従来の運動ベースや統計的モデルの限界を克服すること。これらのモデルは広範なパラメータチューニングを要する。
• 学習から新たにCNNを訓練するのを避けることで、事前学習済みの深層ニューラルネットワークを活用する動画分類システムを構築すること。
• 視覚的に類似したクラス（中程度渋滞と高濃度渋滞）の分類精度を向上させること。既存手法は、外観の類似性や車両数の重複により、この分類に苦労している。
• 事前学習モデルを用いた転移学習が、最小限のハイパーパrameterチューニングと計算コストで最先端の性能を達成できることを示すこと。

提案手法

• VGG-19 と 5層のカスタムCNNを特徴抽出器として使用し、新規にCNNを訓練する必要を回避する。
• VGG-19 のボトルネック層（fc2）とCNNの最終全結合層から特徴量を抽出し、1フレームあたり 25,088 次元および 12,544 次元の特徴ベクトルを生成する。
• これらの高次元特徴量をディスク上に保存し、分類処理中に再計算を回避する。
• 視覚化と分析のため、次元削減のために主成分分析（PCA）を n=2 で実行し、潜在空間におけるクラス分離性の解釈を可能にする。
• 抽出された特徴量を用いて、低・中・高の交通渋滞レベルを予測する分類器を訓練する。
• 実世界の交通動画データセット（画像劣化や悪天候状態を含む）を用い、本手法とオブジェクト検出ベースの手法（YOLO9000 と Google Video Intelligence API）の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 画像劣化が顕著な状況下で、事前学習済みの深層ニューラルネットワークを用いた転移学習が、オブジェクト検出ベースの手法よりも高い分類精度を達成できるか？
• RQ2 VGG-19 とカスタムCNNは、濃霧・雨・低解像度による画像劣化に対して、従来の統計的・運動ベースのモデルと比較してどれほど一般化性能を発揮するか？
• RQ3 中程度渋滞と高濃度渋滞のクラスは、特徴空間でどの程度重複しているか？視覚的に類似しているにもかかわらず、モデルがこれらを信頼性高く区別できるか？
• RQ4 学習から新規にCNNを訓練するのと比較して、事前学習モデルを用いることで、ハイパーパrameterチューニングとトレーニング時間の必要性がどれほど削減されるか？
• RQ5 PCAは、動画分類タスクにおける高次元特徴空間のクラス分離性を視覚化するのにどの程度有効であるか？

主な発見

• VGG-19 を用いた転移学習モデルは、分類精度が 98.50% を達成し、最先端の KL-SVM 法（94.50%）を顕著に上回った。
• 本手法は画像劣化に対しても高い耐性を示し、濃霧や雨の悪天候下でも高い精度を維持した。一方、オブジェクト検出モデルはこの条件下で失敗した。
• YOLO9000 はフレーム全体でより多くの車両を検出していたが、Google Video Intelligence API はより使いやすかった。しかし、両者とも VGG-19 の転移学習モデルに劣った。
• カスタムCNNモデルは良好な性能を示したが、VGG-19 よりも低い精度を示した。これは、構造が単純でパラメータ数が少ないことが要因とされた。
• PCAの可視化結果から、低渋滞クラスは中・高渋滞クラスと明確に分離していることが判明した。一方、中・高渋滞クラスは部分的に重複しており、分類が困難であるが、克服可能であることが示された。
• 転移学習アプローチは、学習から新規にCNNを訓練するのと比較して、顕著に少ないハイパーパrameterチューニングと計算コストで、最先端の性能を達成した。