[論文レビュー] Diff-Foley: Synchronized Video-to-Audio Synthesis with Latent Diffusion Models

Simian Luo, Chuanhao Yan+2 more|arXiv (Cornell University)|Jun 29, 2023

Music and Audio Processing被引用数 7

ひとこと要約

Diff-Foleyは、時間的・意味的に整合された特徴を学習するための対照的音声視覚事前学習（CAVP）を活用することで、顕著な性能向上を達成する潜在拡散モデル（LDM）に基づく動画から音声への合成手法を提案する。この特徴は、スペクトログラムの潜在空間に条件付けられたLDMで使用される。本手法は、分類器フリーと整合性分類器ガイドランスの「二重ガイドランス」を導入し、VGGSoundデータセット上で62.37のインセプションスコアを達成し、先行研究のSpecVQGAN（IS: 30.01）を著しく上回る性能を発揮した。

ABSTRACT

The Video-to-Audio (V2A) model has recently gained attention for its practical application in generating audio directly from silent videos, particularly in video/film production. However, previous methods in V2A have limited generation quality in terms of temporal synchronization and audio-visual relevance. We present Diff-Foley, a synchronized Video-to-Audio synthesis method with a latent diffusion model (LDM) that generates high-quality audio with improved synchronization and audio-visual relevance. We adopt contrastive audio-visual pretraining (CAVP) to learn more temporally and semantically aligned features, then train an LDM with CAVP-aligned visual features on spectrogram latent space. The CAVP-aligned features enable LDM to capture the subtler audio-visual correlation via a cross-attention module. We further significantly improve sample quality with `double guidance'. Diff-Foley achieves state-of-the-art V2A performance on current large scale V2A dataset. Furthermore, we demonstrate Diff-Foley practical applicability and generalization capabilities via downstream finetuning. Project Page: see https://diff-foley.github.io/

研究の動機と目的

• 既存の動画から音声（V2A）生成手法における時間的同期の欠如と音声視覚の関連性不足に取り組む。
• ペアドされた動画・音声データ上で対照的事前学習を用いて、微細な音声視覚相関を学習することで生成品質を向上させる。
• 意味的に整合された視覚特徴を条件付けた潜在拡散モデルを用いて、高精細で同期された音声生成を実現する。
• 下流タスクにおける微調整を用いて、実用性と一般化能力を実証する。
• 従来の手法が弱い整合性や音声に依存しない視覚特徴（例：RGB+Flow）に依存するという限界を克服する。

提案手法

• ペアドされた動画・音声データから、時間的・意味的に整合された視覚的および音声的特徴を学習するための対照的音声視覚事前学習（CAVP）を採用する。
• CAVPで整合化された視覚的特徴を、スペクトログラムの潜在空間内でLDMに条件付け、音声視覚の整合性が向上した音声生成を実現する。
• 逆ノイズ除去プロセス中に、分類器フリーガイドランス（CFG）と整合性分類器ガイドランス（CG）を併用することで「二重ガイドランス」を導入し、サンプル品質を向上させる。
• Melスペクトログラムを潜在空間にマッピングするための固定されたStable Diffusion V1.4の潜在エンコーダーとデコーダーを活用し、優れた再構成能力を活かす。
• Melスペクトログラムの潜在空間上でLDMを訓練し、CAVP特徴をコンテキストとして用いて、正確な時間的同期を伴う音声生成をガイドする。
• 分類器フリーガイドランスのCFGスケールωと整合性分類器ガイドランスのCGスケールγを用い、意味的忠実性と音声視覚の整合性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 対照的音声視覚事前学習は、動画から音声への生成における微細な音声視覚相関のモデリングを改善できるか？
• RQ2 CAVPで整合化された視覚的特徴を潜在拡散モデルに条件付けた場合、時間的同期性と音声視覚の関連性が向上するか？
• RQ3 分類器フリーと整合性分類器ガイドランスを併用する「二重ガイドランス」は、単一ガイドランス手法を上回る品質向上を実現できるか？
• RQ4 事前学習済みのSD-V1.4潜在オートエンコーダーは、音声生成に適したMelスペクトログラムの高精細再構成をどの程度サポートするか？
• RQ5 事前学習済みのDiff-Foleyモデルは、下流のV2Aタスクに対して効果的に微調整可能であり、一般化能力と実用的価値を示せるか？

主な発見

• Diff-Foleyは、VGGSoundデータセット上で最先端のインセプションスコア62.37を達成し、ベースラインのSpecVQGAN（IS: 30.01）を著しく上回った。
• CAVPで整合化された視覚的特徴の使用により、LDMはより微細な音声視覚相関を捉えることができ、同期性と意味的関連性の両方が向上した。
• 「二重ガイドランス」技術により、CFGからの強固なノイズ方向とCGによる微調整が組み合わされ、より正確で現実的な音声生成が実現された。
• 固定されたSD-V1.4潜在エンコーダーとデコーダーは、Melスペクトログラムに対して優れた再構成能力を示し、MSE（0.00264）とKLダイバージェンス（1.44）が低かったが、FID（9.20）は改善の余地を示した。
• 可視化結果から、固定されたオートエンコーダーがスペクトルディテールを良好に保持しており、潜在空間における高品質な音声合成を支援していることが確認された。
• 下流タスクにおける微調整実験により、モデルの実用的応用可能性と多様なV2Aタスクへの一般化可能性が裏付けられた。