[論文レビュー] MM-Diffusion: Learning Multi-Modal Diffusion Models for Joint Audio and Video Generation

Ludan Ruan, Yiyang Ma+7 more|arXiv (Cornell University)|Dec 19, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

本論文では、音声と映像の生成を同期させるために、新しいランダムシフトクロスアテンション機構を備えた結合型ノイズ除去U-Netを用いた、初めての共同音声・映像生成フレームワークであるMM-Diffusionを紹介する。LandscapeおよびAIST++データセットにおいて最先端の性能を達成し、FVDが56.7%低減、FADが37.7%低減した。また、Turingテストにおいて84.9%のサンプルが実データと区別できず、人間の好みも強く示された。

ABSTRACT

We propose the first joint audio-video generation framework that brings engaging watching and listening experiences simultaneously, towards high-quality realistic videos. To generate joint audio-video pairs, we propose a novel Multi-Modal Diffusion model (i.e., MM-Diffusion), with two-coupled denoising autoencoders. In contrast to existing single-modal diffusion models, MM-Diffusion consists of a sequential multi-modal U-Net for a joint denoising process by design. Two subnets for audio and video learn to gradually generate aligned audio-video pairs from Gaussian noises. To ensure semantic consistency across modalities, we propose a novel random-shift based attention block bridging over the two subnets, which enables efficient cross-modal alignment, and thus reinforces the audio-video fidelity for each other. Extensive experiments show superior results in unconditional audio-video generation, and zero-shot conditional tasks (e.g., video-to-audio). In particular, we achieve the best FVD and FAD on Landscape and AIST++ dancing datasets. Turing tests of 10k votes further demonstrate dominant preferences for our model. The code and pre-trained models can be downloaded at https://github.com/researchmm/MM-Diffusion.

研究の動機と目的

• 拡散モデルにおける共同音声・映像生成の不足を解消し、同期的で高精細なコンテンツ作成を可能にすること。
• 音声と映像のモダリティ間の共同分布を学習するマルチモーダル拡散フレームワークを設計すること。
• 効率的なクロスモーダルアテンションにより、音声と映像の意味的・時間的整合性を保証すること。
• タスク固有の微調整なしにゼロショット条件付き生成を可能にすること。
• 客観的指標と人間評価を通じて、モデルの現実性と知覚的品質を検証すること。

提案手法

• MM-Diffusionは、音声と映像を別々に処理する2つの結合型ノイズ除去オートエンコーダーを採用し、共有された逆方向のノイズ除去プロセスを用いる。
• 逐次的マルチモーダルU-Netアーキテクチャにより、各ステップで前段のモダリティのノイズ除去出力を条件として、両方のモダリティを共同でノイズ除去する。
• 新しいランダムシフトベースのクロスアテンションブロックにより、映像フレームに対してランダムにシフトされた音声セグメントに注目することで、効率的なクロスモーダル相互作用を実現する。
• アテンション機構により、時間的冗長性が低減され、各タイムステップにおける音声と映像の意味的整合性が強化される。
• 両モダリティにおけるノイズ除去性能を最適化するため、再重み付けされた目的関数を用いてモデルを学習する。
• 微調整なしに、勾配誘導型またはリプレースベースのプロンプトによってゼロショット条件付き生成を可能にする。

Figure 2 : An illustration of multi-modal denoising diffusion process. Forward diffusion (dotted arrow) maps audio & video data to noise independently, while the reverse process (solid arrow) gradually reconstructs multi-modal contents by a unified model $\theta_{av}$ .

実験結果

リサーチクエスチョン

• RQ1 拡散モデルが高精細な音声と映像を共同で生成しつつ、強力なクロスモーダル整合性を維持できるか。
• RQ2 計算コストを著しく増加させることなく、音声と映像を効率的に整合させるクロスモーダルアテンションはどのように設計できるか。
• RQ3 共同学習により、独立したモデルと比較して、単一モダリティの生成品質がどの程度向上するか。
• RQ4 微調整なしに、動画から音声や音声から動画へのゼロショット条件付き生成タスクに一般化できるか。
• RQ5 Turingテストで測定した人間の知覚において、生成された音声・映像ペアはどの程度現実的か。

主な発見

• Landscapeデータセットでは、最先端の単一モダリティモデルと比較して、FVDが25.0%向上し、FADが32.9%向上した。
• AIST++データセットでは、先行SOTAモデルと比較して、FVDが56.7%低減し、FADが37.7%低減した。
• Turingテストの結果、Landscapeデータセットからの生成音声・映像ペアの84.9%が実データと区別できなかった。
• ゼロショット条件付き生成において、勾配誘導型手法がリプレース手法よりも時間的および意味的整合性の高い結果を生成した。
• アブレーションスタディの結果、マルチモーダルアテンションにおけるウィンドウサイズを大きくすることで性能が向上し、[8,8,8]が最良のFVDおよびFADスコアを達成した。
• ランダムシフトアテンション機構により、クロスモーダル整合性が顕著に向上し、ベースラインからFVDが42.5%低減した。

Figure 3 : Overview of the proposed MM-Diffusion framework. Coupled U-Net contains coupled audio and video streams (indicated by green and blue blocks respectively) at each denoising diffusion step in (a). Each MM-Block encodes audio and video by 1D dilated audio convolutions, and 2D+1D spatial-temp