[論文レビュー] Dense Video Captioning Using Unsupervised Semantic Information

Valter Estevam, Rayson Laroca+2 more|arXiv (Cornell University)|Dec 15, 2021

Video Analysis and Summarization被引用数 9

ひとこと要約

本稿では、クラスタ化された視覚的特徴の共起パターンを用いて、短い動画クリップ間の意味的類似性を学習する教師なし視覚記述子を提案する。これにより、音声信号を含まない視覚的特徴のみを用いて、最先端の高密度動画字幕生成性能を達成でき、一部の設定ではマルチモodal手法を上回る。本手法は、既存モデルにおける音声信号の置き換えを行い、自己教師あり視覚コードブック学習によって、時間的プロポーザル生成と字幕生成の精度を向上させる。

ABSTRACT

We introduce a method to learn unsupervised semantic visual information based on the premise that complex events can be decomposed into simpler events and that these simple events are shared across several complex events. We first employ a clustering method to group representations producing a visual codebook. Then, we learn a dense representation by encoding the co-occurrence probability matrix for the codebook entries. This representation leverages the performance of the dense video captioning task in a scenario with only visual features. For example, we replace the audio signal in the BMT method and produce temporal proposals with comparable performance. Furthermore, we concatenate the visual representation with our descriptor in a vanilla transformer method to achieve state-of-the-art performance in the captioning subtask compared to the methods that explore only visual features, as well as a competitive performance with multi-modal methods. Our code is available at https://github.com/valterlej/dvcusi.

研究の動機と目的

• 人間のアノテーションを一切用いずに、動画クリップ間の意味的類似性を捉える教師なし視覚記述子を開発すること。
• 音声信号を学習済みの視覚的意味表現に置き換えることで、高密度動画字幕生成を改善すること。
• 特に学習済みプロポーザル設定において、視覚的特徴のみを用いて高密度動画字幕生成で最先端の性能を達成すること。
• 視覚的コードブックエントリの共起パターンが、動画理解のための長距離視覚的意味を効果的にモデル化できることを示すこと。

提案手法

• 長時間の動画から最大2.56秒の短い動画クリップを抽出し、3D ConvNets（i3D）を用いて深層視覚特徴に埋め込む。
• ミニバッチk-meansクラスタリングにより、これらの特徴を視覚的コードブックにグループ化し、各クリップに離散的なクラスタラベルを割り当てる。
• すべてのコードブックエントリのペアについて、クリップ間で共起する確率行列を計算し、意味的関係をモデル化する。
• 事前に計算された共起確率を予測するようにニューラルネットワークを学習させ、視覚的意味の高密度で分散型の表現を学習する。
• 学習済みの記述子を、音声入力をバイモーダルトランスフォーマー（BMT）から置き換えるために、バニラトランスフォーマーの視覚特徴と融合する。
• マルチヘッドバイモーダルプロポーザルモジュールを用いて時間的イベントプロポーザルを生成し、トランスフォーマーのデコーダーにより字幕を生成する。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴のみが利用可能な状況で、教師なし視覚的類似性学習が高密度動画字幕生成の性能を向上させられるか？
• RQ2 視覚語の共起パターンに基づく学習済みの視覚的記述子が、高密度動画字幕生成モデルにおける音声信号の置き換えに適しているか？
• RQ3 本手法は、時間的イベントプロポーザルおよび字幕生成の文脈で、未学習のクリップへも一般化できるか？
• RQ4 深層特徴と共起ベースの視覚的意味を統合することで、単一モodal動画字幕生成で最先端の性能が達成できるか？

主な発見

• 本手法は、学習済みプロポーザル設定において、RGB特徴のみを用いてActivityNetデータセットで最先端の性能を達成し、他のすべての単一モダリティ手法を上回った。
• グランドトゥルースプロポーザル設定では、BLEU@4スコアが2.55を記録し、マスクドトランスフォーマーをわずかに下回ったが、他の視覚のみのモデルよりも顕著に優れていた。
• グランドトゥルースプロポーザルではMETEORスコアが8.65を達成し、音声やアクティビティアノテーションを用いないにもかかわらず、MDVC や iPerceive などのマルチモダリティ手法と同等の性能を示した。
• 学習済みプロポーザルのシナリオではF1スコアが0.57を記録し、音声を用いないにもかかわらず、時間的イベント局在化において強力な性能を示した。
• 定性的な結果から、本モデルは視覚的変化が少ない動画においても、物質を混ぜる動作や手の動きといったキーポイント行動を正しく特定できており、音声なしの行動認識においてBMT（V+Sm）を上回った。
• 音声や言語的監視を一切用いずに、RGB動画ストリームのみに依存しているにもかかわらず、BMT（V+A） や MDVC などのマルチモダリティモデルと同等の性能を達成した。