[論文レビュー] TransNet: A deep network for fast detection of common shot transitions

Tomáš Souček, Jaroslav Moravec+1 more|arXiv (Cornell University)|Jun 8, 2019

Video Analysis and Summarization参考文献 15被引用数 18

ひとこと要約

TransNetは、畳み込みの拡張率を用いた軽量で効率的な3次元畳み込みニューラルネットワークを提案し、RAIデータセット上でSOTAのF1スコア0.943を達成する。このモデルはリサイズされたフレームを処理し、単一GPU上で100倍以上のリアルタイム推論速度を達成しており、後処理や大規模なパラメータ数を必要とせずに、先行研究を上回る性能を発揮する。

ABSTRACT

Shot boundary detection (SBD) is an important first step in many video processing applications. This paper presents a simple modular convolutional neural network architecture that achieves state-of-the-art results on the RAI dataset with well above real-time inference speed even on a single mediocre GPU. The network employs dilated convolutions and operates just on small resized frames. The training process employed randomly generated transitions using selected shots from the TRECVID IACC.3 dataset. The code and a selected trained network will be available at https://github.com/soCzech/TransNet.

研究の動機と目的

• 動的移動や遮蔽アーチファクトから真正の遷移を区別するという、動画処理における高速かつ高精度なショット境界検出（SBD）の課題に対処する。
• 標準的な3次元畳み込みの計算負荷を軽減するため、感受野を効率的に拡大する拡張畳み込みを用いる。
• 複雑な後処理を必要とせず、RAIのような標準ベンチマークで高い精度を維持しながら、リアルタイム推論速度を実現する。
• 大規模なアノテート済みデータセットへの依存を減らすために、実際の動画クリップから生成した合成データでモデルを訓練する。
• 2種類の遷移タイプでのみ学習されたにもかかわらず、未学習の動画コンテンツに一般化しやすいスケーラブルでパラメータ効率の良いアーキテクチャを構築する。

提案手法

• 時間方向に異なる拡張率を用いる4つの3次元畳み込みを1層に含むモジュラー3次元畳み込みアーキテクチャ（Dilated DCNNセル）を設計し、パラメータ数を増やさずに感受野を拡大する。
• 複数のDilated DCNNセルをSDDCNNブロックにスタックし、空間的マックスプーリングを適用して空間次元をダウンサンプリングするとともに、チャネル数を増加させる。
• 『same』パディングとストライド1の2次元空間畳み込みを用い、最終層を除き全層にReLU活性化関数を適用する。最終層ではバイナリ分類用にソフトマックスを用いる。
• TRECVID IACC.3データセットのランダムなショットペアをインターリーブすることで、ハードカットとディスソリューションをシミュレートする合成データを生成し、ネットワークを訓練する。
• 各フレームごとに独立してショット境界の可能性を予測するため、256ニューロンの共有全結合ヘッドを用い、フレーム間で重みを共有する。
• 交差エントロピー損失を最適化関数として用い、バリデーションセットの性能に基づいてハイパーパramータ（例：信頼度しきい値θ = 0.1）を選択する。

実験結果

リサーチクエスチョン

• RQ1 拡張畳み込みを用いた軽量な3次元CNNは、リアルタイム推論速度を維持しながら、SOTAの性能を達成できるか？
• RQ2 長時間の徐々に変化する遷移に対して、標準的な3次元畳み込みと比較して、拡張畳み込みはパラメータ効率と感受野カバー範囲の両面で優れているか？
• RQ3 合成データ（シミュレートされた遷移）で学習したモデルが、後処理を要せず、実世界のベンチマーク（例：RAI）に一般化できる程度はどの程度か？
• RQ4 動的シーンや微細な徐々に変化する遷移のような困難なケースにおいて、モデルの性能はいかがで、誤検出と誤検出の性質はどのようなものか？
• RQ5 先行SOTA手法と比較して大幅に少ないパラメータ数（例：40分の1）を有するモデルでも、標準評価指標で同等または優れた性能を発揮できるか？

主な発見

• TransNetはRAIテストデータセットで全体のF1スコア0.943を達成し、パラメータ数を40分の1に抑えながらも、Hassanienら（2017）が報告した最高性能と同等の結果を達成した。
• RAIデータセットでは96.4％の精度と92.3％の再現率を達成し、全985件の遷移において誤検出が34件、誤検出が76件にとどまった。
• Tesla V100 GPU上で100倍以上のリアルタイム速度で動作し、RAIデータセット（約98分の動画）をわずか50秒で処理した。
• ハードカットとディスソリューションのみで学習されたにもかかわらず、多様な遷移タイプと複雑なシーンを含むRAIデータセットに対し、良好な一般化性能を示した。
• 誤検出は主にカメラの動きがある動的ショットで多く発生し、誤検出は主に徐々に変化する遷移で発生する。約20％の誤検出は1フレームずれた近くの誤検出と一致していた。
• Gygli（2018）やBaraldiら（2015）といった先行SOTA手法を上回り、後処理を追加せずともHassanienら（2017）のF1スコアに匹敵またはそれを上回った。