[論文レビュー] Large-scale, Fast and Accurate Shot Boundary Detection through Spatio-temporal Convolutional Neural Networks

Ahmed Hassanien, Mohamed Elgharib+4 more|arXiv (Cornell University)|May 9, 2017

Advanced Vision and Imaging参考文献 3被引用数 44

ひとこと要約

本稿では、大規模で高速かつ高精度なショット境界検出（SBD）を実現するための空間時間的畳み込みニューラルネットワーク（CNN）であるDeepSBDを提案する。独自に構築した350万フレームの合成データセット（正確なアノテーションを備えたハードネガティブなノーアウトプットサンプルを含む）を活用することで、徐々に移行する遷移とワイプ遷移において最先端の性能を達成し、既存手法と比較して最大11倍の高速化を実現した。

ABSTRACT

Shot boundary detection (SBD) is an important pre-processing step for video manipulation. Here, each segment of frames is classified as either sharp, gradual or no transition. Current SBD techniques analyze hand-crafted features and attempt to optimize both detection accuracy and processing speed. However, the heavy computations of optical flow prevents this. To achieve this aim, we present an SBD technique based on spatio-temporal Convolutional Neural Networks (CNN). Since current datasets are not large enough to train an accurate SBD CNN, we present a new dataset containing more than 3.5 million frames of sharp and gradual transitions. The transitions are generated synthetically using image compositing models. Our dataset contain additional 70,000 frames of important hard-negative no transitions. We perform the largest evaluation to date for one SBD algorithm, on real and synthetic data, containing more than 4.85 million frames. In comparison to the state of the art, we outperform dissolve gradual detection, generate competitive performance for sharp detections and produce significant improvement in wipes. In addition, we are up to 11 times faster than the state of the art.

研究の動機と目的

• ビデオ操作の重要な前処理ステップであるショット境界検出（SBD）における、検出精度と処理速度のトレードオフを解消すること。
• 手作業で設計された特徴量やオプティカルフローに基づく手法の限界を克服し、精度が低いか、計算コストが高すぎる問題を解決すること。
• 正確なアノテーションを備えた大規模かつ高品質な合成データセットを構築することで、SBD用の深層CNNの有効な訓練を可能にすること。
• 特に従来の手法がうまく処理できない難易度の高い遷移タイプ（特にワイプ）の検出性能を向上させること。
• 低遅延を要するアプリケーションをサポートできるリアルタイムの推論速度を達成すること。

提案手法

• 16フレームの動画セグメント全体にわたって空間的および時間的特徴を統合的にモデル化できるように、C3Dをインspiredした3次元CNNアーキテクチャを設計する。
• 350万フレームにわたる合成データセット（SBD_Syn）を用いてネットワークを訓練し、その中に22万339件の合成ショット遷移（シャープおよび徐々に移行するもの）を含む。
• 精度向上のため、7万件の手動アノテーション済みのノーアウトプットフレームを含むハードネガティブデータセット（SBD_BT）を訓練に組み込む。
• 画像合成モデルを用いてリアルなアルファマットと合成遷移を生成し、特に110万フレームのワイプ専用サブセット（UCF101_SBD）を別途用意する。
• GPUの並列処理とバッチ処理を活用することで、推論速度を大幅に向上させ、Titan X上では最大19.3倍のリアルタイム速度向上を達成した。
• TRECVID 2005およびBaraldiらのデータセットを含む、合成データおよび実世界データの両方で評価することで、汎化性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 深層CNNベースのアプローチは、従来の手作業特徴量手法よりも高い検出精度を達成しながらも、高速性を維持できるか？
• RQ2 正確なアノテーションを備えた大規模な合成データセットは、特にワイプのようなレアまたは検出が困難な遷移に対して、深層CNNの有効な訓練を可能にするか？
• RQ3 提案手法は、最先端のオプティカルフローに基づくSBD手法と比較して、性能と速度の両面で優れているか？
• RQ4 ネットワークは、シャープ、徐々に移行、ノーアウトプットの3種類のフレームを区別するための判別的な空間時間的パターンを学習できるか？
• RQ5 ハードネガティブサンプルの導入により、特に誤検出（ファルスポジティブ）の削減に寄与するか？

主な発見

• 徐々に移行する遷移において、F-measureが0.992を達成し、溶解検出において最先端の手法を上回った。
• シャープ遷移においてもF-measureが0.992を達成し、既存手法と同等の高い性能を示した。
• 従来、大きな課題であったワイプ遷移において、F-measureが0.956を達成し、前例の手法と比較して顕著な改善を示した。
• リアルタイム速度向上係数が19.3に達し、最も性能の高かったオプティカルフローに基づく手法（Liuら）と比較して最大11倍の高速化を実現した。
• フィルターアクティベーションのヒートマップから、シャープ遷移は時間軸に沿って急激で明るい水平線を示すのに対し、徐々に移行する遷移はぼやけた反応を示すことが確認され、ネットワークが意味のある空間時間的パターンを学習していることが裏付けられた。
• UCF101_SBDで評価した結果、すべてのクラスで従来手法を上回った。TRECVIDシーケンスで報告された数値よりも高い性能を示したが、これはアノテーション品質の優位性によるものと推定される。