[論文レビュー] Dual Diffusion Implicit Bridges for Image-to-Image Translation

Xuan Su, Jiaming Song+2 more|arXiv (Cornell University)|Mar 16, 2022

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本稿では、二つの独立して訓練された拡散モデル（一方はソースドメイン用、もう一方はターゲットドメイン用）を用いることで、トレーニング段階で両ドメインのデータを同時にアクセスする必要を排除する、新しい画像対画像翻訳手法であるデュアル拡散暗黙ブリッジ（DDIBs）を提案する。この手法により、プライバシー保護型のペairwise翻訳が可能となり、共同データアクセスなしで実現される。確率フローODEを用いて画像を共通の潜在空間にマッピングし、ターゲットドメインの画像を再構築することで、解離誤差の範囲内でサイクル整合性を達成し、理論的にはシュレーディンガー・ブリッジを介したエントロピー正則化最適輸送として定式化される。

ABSTRACT

Common image-to-image translation methods rely on joint training over data from both source and target domains. The training process requires concurrent access to both datasets, which hinders data separation and privacy protection; and existing models cannot be easily adapted for translation of new domain pairs. We present Dual Diffusion Implicit Bridges (DDIBs), an image translation method based on diffusion models, that circumvents training on domain pairs. Image translation with DDIBs relies on two diffusion models trained independently on each domain, and is a two-step process: DDIBs first obtain latent encodings for source images with the source diffusion model, and then decode such encodings using the target model to construct target images. Both steps are defined via ordinary differential equations (ODEs), thus the process is cycle consistent only up to discretization errors of the ODE solvers. Theoretically, we interpret DDIBs as concatenation of source to latent, and latent to target Schrodinger Bridges, a form of entropy-regularized optimal transport, to explain the efficacy of the method. Experimentally, we apply DDIBs on synthetic and high-resolution image datasets, to demonstrate their utility in a wide variety of translation tasks and their inherent optimal transport properties.

研究の動機と目的

• ペairedソースおよびターゲットデータセットを共同でトレーニングする必要がある従来の非ペア画像翻訳手法の限界を解消すること。
• トレーニング段階で両ドメインのデータを同時にアクセスする必要を排除することで、データプライバシーの保護を実現すること。
• 事前学習済みのドメイン特化拡散モデルを複数の翻訳タスクに再利用可能にするため、モデルの柔軟性を向上させること。
• 特にシュレーディンガー・ブリッジを用いた最適輸送原理に基づく理論的枠組みを提供すること。
• ドメイン特化のファインチューニングを必要とせず、内在的なサイクル整合性とOT効率性を有する高品質な翻訳を達成できることを示すこと。

提案手法

• DDIBsは、それぞれのドメイン用に事前学習済みの二つの独立した拡散モデル（ソースドメイン用とターゲットドメイン用）を用いる。これらのモデルは、それぞれのデータセット上で独立してトレーニングされる。
• この手法は、ソースモデルからの前向き確率フローODEを適用し、ソース画像を潜在表現にマッピングすることで、コンテンツ構造を保持する。
• 次に、ターゲットモデルからの逆向き確率フローODEを用いて、潜在コードからターゲットドメインの画像を再構築する。これにより翻訳が完了する。
• この全プロセスは二つのODEで定義される：一つはソースから潜在空間へのマッピング用、もう一つは潜在空間からターゲットへの再構築用。両者とも、ノイズ除去拡散暗黙モデル（DDIMs）から導出される。
• 翻訳プロセスは、二つのシュレーディンガー・ブリッジ問題の連結として解釈される：ソースから潜在空間への問題と、潜在空間からターゲットへの問題。両者とも退化または線形のドリフトを持つため、最適輸送理論的根拠が得られる。
• サイクル整合性は、ODEソルバーの数値離散化誤差の範囲内で達成され、画像を往復して翻訳しても元の画像がソルバーの許容誤差内に回復する。

実験結果

リサーチクエスチョン

• RQ1 ペアドソースおよびターゲットデータへの共同トレーニングを必要とせず、データプライバシーを保護しながら画像対画像翻訳を達成できるか？
• RQ2 ドメイン特化拡散モデルを再トレーニングなしに複数の翻訳タスクに再利用できるか？
• RQ3 DDIBsと最適輸送の理論的関係、特にシュレーディンガー・ブリッジとの関係は何か？
• RQ4 DDIBsはどの程度サイクル整合性を達成するのか？また、これはODEソルバーの精度とどのように関係するか？
• RQ5 DDIBsは、GAN やフローベースの手法を上回る翻訳品質を達成できるか？同時に、計算的およびプライバシー上の利点を維持できるか？

主な発見

• DDIBsは、合成データおよび高解像度データセットにおいて、高品質な画像翻訳を達成しており、事前学習済みの条件付き拡散モデルを用いたトラバーサル（例：タイガーからネコへの翻訳）も実現している。
• この手法は、ODEソルバーの離散化誤差の範囲内で内在的なサイクル整合性を示しており、往復翻訳による劣化が最小限に抑えられている。
• DDIBsは、退化したシュレーディンガー・ブリッジ問題の解として理論的に正当化されており、エントロピー正則化最適輸送と結びついており、恣意的な損失最小化の代替としての原理的妥当性を有する。
• トレーニング段階で両ドメインのデータを同時にアクセスする必要がないため、プライバシー保護型の翻訳が可能になる。
• モデルの再利用性に優れ、ドメインごとに1つのモデル（合計で線形数）を必要とするため、従来の2乗のモデル数を要する手法に比べ、モデル保存領域とトレーニングのオーバーヘッドを顕著に削減できる。
• スタイル変換や画像修復を含む多様な翻訳タスクにおいて優れた性能を示しており、最新の共同トレーニング手法と同等の結果を得ている。