[論文レビュー] Accurate and Fast Compressed Video Captioning

Yaojie Shen, Xin Gu+4 more|arXiv (Cornell University)|Sep 22, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

本論文は、Iフレーム、動きベクトル、および圧縮動画からの残差を直接処理するエンドツーエンドの圧縮ドメイン動画キャプション生成モデルを提案する。これにより、不要な復号化と特徴抽出が不要となり、洗練された非冗長な圧縮動画成分を活用することで、MSRVTTでSOTAのCIDErスコア（56.2）を達成するとともに、従来手法と比べてほぼ2倍速く動作する。

ABSTRACT

Existing video captioning approaches typically require to first sample video frames from a decoded video and then conduct a subsequent process (e.g., feature extraction and/or captioning model learning). In this pipeline, manual frame sampling may ignore key information in videos and thus degrade performance. Additionally, redundant information in the sampled frames may result in low efficiency in the inference of video captioning. Addressing this, we study video captioning from a different perspective in compressed domain, which brings multi-fold advantages over the existing pipeline: 1) Compared to raw images from the decoded video, the compressed video, consisting of I-frames, motion vectors and residuals, is highly distinguishable, which allows us to leverage the entire video for learning without manual sampling through a specialized model design; 2) The captioning model is more efficient in inference as smaller and less redundant information is processed. We propose a simple yet effective end-to-end transformer in the compressed domain for video captioning that enables learning from the compressed video for captioning. We show that even with a simple design, our method can achieve state-of-the-art performance on different benchmarks while running almost 2x faster than existing approaches. Code is available at https://github.com/acherstyx/CoCap.

研究の動機と目的

• フレームの復号と冗長な特徴抽出に依存する従来の動画キャプションパイプラインにおける非効率性を是正すること。
• 復号済みフレームの代わりに圧縮動画を処理することで、推論速度を向上させること。
• 圧縮動画成分に内在する洗練された非冗長な情報を活用することで、キャプション生成の精度を向上させること。
• オフライン特徴抽出を排除し、動画キャプションにおける計算オーバーヘッドを低減すること。
• 圧縮ドメイン学習がフルフレームベースの手法と同等またはそれを上回る性能を発揮しつつ、著しく高速であることを示すこと。

提案手法

• 本モデルは、復号を行わず、Iフレーム、動きベクトル、残差からなる圧縮動画入力を処理する。
• 3つの別個のエンコーダーが、Iフレーム（文脈情報）、動きベクトル（動き情報）、残差（詳細な残差情報）から特徴を抽出する。
• アクションエンコーダーが、文脈、動き、残差の特徴を統合し、統一されたアクション表現を生成する。
• マルチモーダルトランスフォーマーデコーダーが、統合された特徴から自然言語のキャプションを生成する。
• パイプライン全体がエンドツーエンドで学習可能であり、オフライン特徴抽出やフレームサンプリングが不要である。
• モデル設計は、解像度の高いフレームではなく、コンactで洗練された圧縮データを処理することにより、効率性を重視している。

実験結果

リサーチクエスチョン

• RQ1 復号済みフレームの代わりに圧縮動画を処理することで、動画キャプションの性能を維持または向上させることができるか？
• RQ2 Iフレーム、動きベクトル、残差を併用することで、単一の成分を用いる場合よりも優れたキャプション生成が得られるか？
• RQ3 Group of Pictures（GOP）のサイズが、モデルの性能と推論速度にどのように影響するか？
• RQ4 性能と効率のバランスを考慮した場合、個々のエンコーダーの最適な深さは何か？
• RQ5 アクションエンコーダーは、オブジェクトレベルとアクションレベルの特徴を効果的に統合でき、キャプション生成を向上させられるか？

主な発見

• 本モデルは、MSRVTTデータセットでCIDErスコア56.2を達成し、従来手法を上回る性能を発揮するとともに、ほぼ2倍速く動作する。
• Iフレームのみを用いる場合のCIDErスコアは54.1であるが、Iフレーム、動きベクトル、残差の3要素を併用することで56.2に向上する。
• アクションエンコーダーを削除すると、性能が1.9ポイント低下（54.3に）する。
• GOPサイズを小さくする（例：KeyInt=60、GOP=8）ことで、より高い性能（CIDEr=56.2）が得られるが、推論時間は増加する。
• Iフレームエンコーダーの層数を増やすことで性能が向上（56.2から57.2に）するが、動き・残差モジュールのエンコーダーを深くしてもさらなる向上は得られない。
• 定性的な結果から、モデルは文脈的に整合性のあるキャプションを生成しており、特に動きの挙動を正確に捉えている。