[論文レビュー] Discrete Contrastive Diffusion for Cross-Modal Music and Image Generation

Ye Zhu, Yu Wu+4 more|arXiv (Cornell University)|Jun 15, 2022

Music and Audio Processing被引用数 10

ひとこと要約

本稿では、対照的学習の目的関数を通じて相互情報量を最大化することで、入力と出力の対応関係を明示的に強化する、新たな手法である条件付き離散的対照的拡散（CDCD）を提案する。ドレインジング拡散と対照的損失を統合することにより、生成の忠実度が向上し、必要な拡散ステップ数が35%以上削減され、音楽・音声および画像生成タスクにおいて、より強いクロスモodalな整合性を実現する最先端または競争力のある結果を達成する。

ABSTRACT

Diffusion probabilistic models (DPMs) have become a popular approach to conditional generation, due to their promising results and support for cross-modal synthesis. A key desideratum in conditional synthesis is to achieve high correspondence between the conditioning input and generated output. Most existing methods learn such relationships implicitly, by incorporating the prior into the variational lower bound. In this work, we take a different route -- we explicitly enhance input-output connections by maximizing their mutual information. To this end, we introduce a Conditional Discrete Contrastive Diffusion (CDCD) loss and design two contrastive diffusion mechanisms to effectively incorporate it into the denoising process, combining the diffusion training and contrastive learning for the first time by connecting it with the conventional variational objectives. We demonstrate the efficacy of our approach in evaluations with diverse multimodal conditional synthesis tasks: dance-to-music generation, text-to-image synthesis, as well as class-conditioned image synthesis. On each, we enhance the input-output correspondence and achieve higher or competitive general synthesis quality. Furthermore, the proposed approach improves the convergence of diffusion models, reducing the number of required diffusion steps by more than 35% on two benchmarks, significantly increasing the inference speed.

研究の動機と目的

• 条件付き拡散モデルにおける明示的な入出力対応関係の欠如が、条件入力と生成出力の間の弱い整合性を引き起こすという問題に対処すること。
• 条件入力と生成出力の間の相互情報量を明示的に最大化することで、クロスモダリティ生成の忠実度を向上させること。
• 対照的学習を拡散モデリングと統合し、トレーニングの安定性と推論効率の両方を向上させること。
• テキストから画像、クラス条件付き、ダンスから音楽への生成など、多様な条件付き合成タスクにおいてCDCDの有効性を示すこと。

提案手法

• 条件入力と生成出力の間の相互情報量を明示的に最大化するための条件付き離散的対照的拡散（CDCD）損失を提案する。
• ステップ単位の並列拡散およびサンプル単位の補助拡散の2つの対照的拡散メカニズムを設計し、CDCD損失をノイズ除去プロセスに効果的に統合する。
• CDCD損失を従来の変分下界の目的関数と組み合わせ、トレーニング中に両目的を同時に最適化可能にする。
• 不規則なサンプルとインスタンスレベルのネガティブサンプルを提供することで、対照的学習の性能を向上させるためのイントラおよびインターネガティブサンプリング戦略を導入する。
• 計算コストを削減しながら性能を維持するため、ダウンサンプリングされた対照的ステップ戦略を採用し、分類器フリー・ガイドランスにインspiredする。
• 高精細な音声出力に対してノイズ除去を適用することで、知覚的品質を向上させるが、音声品質は主な焦点ではない。

実験結果

リサーチクエスチョン

• RQ1 明示的な相互情報量の最大化は、クロスモダリティ生成における条件付き拡散モデルの入出力対応関係を改善できるか？
• RQ2 対照的学習を拡散トレーニングに統合すると、収束速度および推論効率にどのような影響を与えるか？
• RQ3 CDCDは、テキストから画像やダンスから音楽への生成といった多様なクロスモダリティタスクにおいて、生成品質と整合性をどの程度向上させるか？
• RQ4 対照的損失の強さ（λ）およびサンプリング戦略が、モデル性能とトレーニング安定性に与える影響は何か？
• RQ5 CDCDフレームワークは、異なるモダリティにおいて連続的および離散的条件入力の両方に対して効果的に適用可能か？

主な発見

• CDCDは2つのベンチマークで必要な拡散ステップ数を35%以上削減し、品質を損なわずに推論を著しく高速化する。
• ダンスから音楽への生成、テキストから画像への生成、クラス条件付き画像合成の3つのタスクで、最先端または競争力のある性能を達成する。
• ダンスから音楽への生成におけるビート整合性スコアは、カバレッジ93.9%、ヒットレート90.7%に達し、強いクロスモダリティ対応関係を示す。
• アブレーションスタディの結果、λ = 5e-5が性能とトレーニング安定性のバランスに最適であり、ハイパーパramータの変動に対してほとんど感受性がないことが判明した。
• ダウンサンプリングされた対照的ステップは、計算コストを削減しつつ、性能の低下はわずか（例：Tc=80で93.4%のカバレッジ vs. Tc=100で93.9%）であり、効率性の向上を確認した。
• CDCD損失は効果的な補助正則化項として機能し、多様な条件付き生成タスクにおけるモデルの収束性と一般化性能を向上させる。