[論文レビュー] Temporal Tessellation: A Unified Approach for Video Analysis

Dotan Kaufman, Gil Levi+2 more|arXiv (Cornell University)|Dec 21, 2016

Human Pose and Action Recognition参考文献 64被引用数 4

ひとこと要約

本論文は、外見的類似性と時間的整合性に基づいてクリップをマッチングすることで、参照動画からテスト動画へと意味を転送する統一フレームワーク「Temporal Tessellation」を導入する。動的プログラミングとLSTMによる教師ありおよび教師なしの整合性モデリングを用いて、1つの手法で動画字幕、要約、行動検出、音声予測という多様なタスクにおいて最先端の性能を達成している。

ABSTRACT

We present a general approach to video understanding, inspired by semantic transfer techniques that have been successfully used for 2D image analysis. Our method considers a video to be a 1D sequence of clips, each one associated with its own semantics. The nature of these semantics -- natural language captions or other labels -- depends on the task at hand. A test video is processed by forming correspondences between its clips and the clips of reference videos with known semantics, following which, reference semantics can be transferred to the test video. We describe two matching methods, both designed to ensure that (a) reference clips appear similar to test clips and (b), taken together, the semantics of the selected reference clips is consistent and maintains temporal coherence. We use our method for video captioning on the LSMDC'16 benchmark, video summarization on the SumMe and TVSum benchmarks, Temporal Action Detection on the Thumos2014 benchmark, and sound prediction on the Greatest Hits benchmark. Our method not only surpasses the state of the art, in four out of five benchmarks, but importantly, it is the only single method we know of that was successfully applied to such a diverse range of tasks.

研究の動機と目的

• 従来、タスク固有のモデルを必要としていた多様な動画理解タスクに対して統一的なアプローチが欠如している問題に対処する。
• 単一のラベルを割り当てるのではなく、参照動画からのクリップごとの意味的転送によって、動画内の意味的曖昧性を克服する。
• 転送された意味的解釈が一貫性のないものや断片的なものにならないように、時間的整合性を保証する。
• 字幕生成、要約、行動検出、音声予測といった複数の動画分析タスクに一般化できる1つの手法を実現する。
• タスク固有の設計が不要であるにもかかわらず、複数のベンチマークで専用モデルを上回る性能を示すことで、統一フレームワークの有効性を示す。

提案手法

• 各クリップに意味的特徴（例：字幕、重要度スコア、行動ラベル、音声特徴）を関連付ける1次元的なクリップ列として動画を表現する。
• 学習済みの視覚的埋め込み空間（VGG-19 + RNN-FVプーリング）における外見的類似性を用いて、テストクリップと参照クリップをマッチングする。
• 時間的整合性を2つの戦略で強制する：教師なしの動的プログラミングによる滑らかな意味的遷移の確保、および教師ありLSTMによる将来のクリップ意味の予測。
• マッチングと意味的転送のための視覚的特徴と意味的ラベルを統合した意味的動画空間（SVS）を構築する。
• 局所的類似性とグローバルな整合性の両方を満たす参照クリップを選択するため、タイル張り（tessellation）を適用する。
• 局所的外見的類似性とグローバルな意味的整合性の両方をバランスさせるハイブリッドマッチング戦略を採用し、転送品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 多様な動画理解タスクにわたり、参照動画からテスト動画へとクリップ単位の意味的特徴を転送できる統一フレームワークは構築可能か？
• RQ2 意味的解釈が一貫性のないものや断片的になるのを防ぐために、クリップマッチング中に時間的整合性をどのように効果的に強制できるか？
• RQ3 教師なしの動的プログラミングまたは教師ありLSTMは、動画理解タスクにおける意味的整合性をどの程度向上できるか？
• RQ4 タスク固有の調整なしに、1つの手法が複数のベンチマークで最先端の性能を達成できるか？
• RQ5 外見的類似性マッチングと比較して、意味的整合性を組み込むことで、動画分析タスクの性能はどの程度向上するか？

主な発見

• LSMDC’16ベンチマークにおける動画字幕タスクで、専用モデルを上回る最先端の性能を達成した。
• SumMeおよびTVSumベンチマークにおける動画要約タスクでは、重要度予測への一般化能力が強く示され、新たな最先端性能を達成した。
• THUMOS’14における時間的行動検出タスクでは、教師ありタイル張り手法が、IoU=0.5の条件下でmAP 61.1を達成し、前回の最先端を大きく上回った。
• Greatest Hitsベンチマークにおける音声予測タスクでは、教師ありタイル張り手法が、ラウドネスのMSE 0.24および相関係数0.35を達成し、外見的類似性マッチングや局所的タイル張りを上回った。
• 教師なしタイル張り手法は、THUMOS’14におけるmAPで外見的類似性マッチングを15.4%上回り、時間的整合性の価値を示した。
• 本手法は、4つの異なる動画理解タスクで最先端の性能を達成する最初の知られている統一的アプローチであり、その汎用性と頑健性を示している。