[論文レビュー] Learning Audio-Video Modalities from Image Captions

Arsha Nagrani, Paul Hongsuck Seo+5 more|arXiv (Cornell University)|Apr 1, 2022

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、視覚的類似性を用いて画像キャプションデータセット（例：Conceptual Captions3M）から動画および音声クリップへキャプションを転送するスケーラブルなビデオマイニングパイプラインを提案する。これにより、大規模で弱教師ありの音声・動画キャプションデータセットであるVideoCC3Mが作成される。このデータでマルチモーダルトランスフォーマーを訓練することで、HowTo100Mに比べ20倍少ないクリップ、100倍少ないキャプションで、ビデオ検索およびキャプション生成タスクで最先端の性能を達成するとともに、強力なゼロショット一般化性能を実現し、AudioCapsおよびClothoの音声検索ベンチマークでも最先端の結果を達成する。

ABSTRACT

A major challenge in text-video and text-audio retrieval is the lack of large-scale training data. This is unlike image-captioning, where datasets are in the order of millions of samples. To close this gap we propose a new video mining pipeline which involves transferring captions from image captioning datasets to video clips with no additional manual effort. Using this pipeline, we create a new large-scale, weakly labelled audio-video captioning dataset consisting of millions of paired clips and captions. We show that training a multimodal transformed based model on this data achieves competitive performance on video retrieval and video captioning, matching or even outperforming HowTo100M pretraining with 20x fewer clips. We also show that our mined clips are suitable for text-audio pretraining, and achieve state of the art results for the task of audio retrieval.

研究の動機と目的

• テキスト-動画およびテキスト-音声検索分野における進展を妨げる大規模で弱教師ありの動画および音声キャプションデータセットの不足に対処すること。
• 手動アノテーションを一切行わず、画像キャプションを動画および音声クリップへ転送するスケーラブルで自動的なパイプラインの開発。
• マルチモーダルモデルの事前学習に適した大規模で弱くペairedな音声・動画キャプションデータセットの作成。
• このマイニングされたデータで事前学習したモデルが、HowTo100Mで事前学習したモデルと比較して、特にゼロショット設定において競争的または優れた性能を達成できることの実証。
• マイニングされたデータが、下流の音声検索タスクにおいて強力な性能を発揮できることを示し、AudioCapsおよびClothoのベンチマークで最先端の結果を達成すること。

提案手法

• CLIPベースの画像エンコーダーを用いて、画像キャプションデータセット（例：CC3M）の画像を「種まき」フレームとして、動画内の視覚的に類似するフレームを同定する。
• 各マッチングされたフレームに対して、その周辺に短い動画クリップ（音声付）を抽出し、弱教師ありの音声・動画クリップペアを形成する。
• 元の画像キャプションを直接マイニングされた動画クリップに転送することで弱教師付きのラベルを付与し、ペア化された音声・動画・テキストサンプルを生成する。
• 得られたVideoCC3Mデータセット上で、エンドツーエンドにマルチモーダル音声・視覚トランスフォーマーモデルを訓練し、ビデオ検索およびキャプション生成タスクを実行する。
• ゼロショットおよび微調整後の性能を評価するため、HowTo100M、AudioCaps、Clothoなどの下流ベンチマークでモデルを微調整する。
• 音声のみおよび音声・視覚融合エンコーダーを用いて、視覚モodalの音声検索性能への寄与を評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的類似性を用いて、既存の画像キャプションデータセットから自動的に大規模で弱教師ありの音声・動画キャプションデータをマイニングできるか？
• RQ2 マイニングされたVideoCC3Mデータで事前学習したモデルが、HowTo100Mで事前学習したモデルと比較して、はるかに少ないデータでもビデオ検索およびキャプション生成タスクで優れた性能を達成できるか？
• RQ3 マイニングされた音声・動画データが、ビデオおよび音声検索タスクにおける強力なゼロショット一般化性能をサポートできるか？
• RQ4 視覚モダリティを含めることで、マイニングされたキャプションを用いた音声検索タスクの性能が向上するか？
• RQ5 VideoCC3Mで学習したモデルが、AudioCapsおよびClothoといった標準的な音声検索ベンチマークで最先端の結果を達成できるか？

主な発見

• VideoCC3Mデータセットには、Web動画から画像キャプションデータをシードとして自動的にマイニングした、何百万もの弱くペアリングされた音声・動画・テキストクリップが含まれる。
• VideoCC3Mで事前学習したモデルは、ビデオ検索およびキャプション生成タスクで競争力のある性能を達成し、HowTo100Mで事前学習したモデルと同等またはそれを上回る性能を、クリップ数が20分の1、テキスト文数が100分の1の条件下でも達成する。
• 音声検索タスクにおいても最先端の結果を達成し、AudioCapsではR@1が32.0に達する。これは、従来の最先端手法より7.7ポイント優れている。手動の音声・テキストアノテーションは一切不要である。
• VideoCC3Mで事前学習することで、ビデオキャプションおよび検索タスクにおけるゼロショット性能が顕著に向上し、ドメインシフトの影響を受けるためゼロショット性能が低いHowTo100M事前学習よりも優れる。
• 音声・視覚融合により音声検索性能が向上し、Clothoで最も良い結果は、VideoCC3M事前学習とAudioCaps事前学習を組み合わせた際のものであった。
• 本手法は、CLIPのような既存の画像-テキストモデルと強く相乗効果を発揮し、ASRベースの監視よりも多様性に富み、より適切にアライメントされたデータが得られる。