[論文レビュー] CycleNet: Rethinking Cycle Consistency in Text-Guided Diffusion for Image Manipulation

Sihan Xu, Ziqiao Ma+3 more|arXiv (Cornell University)|Oct 19, 2023

Image Processing Techniques and Applications被引用数 7

ひとこと要約

CycleNetは、テキスト誘導拡散モデルにおける非ペaired画像対画像変換において、サイクル整合性を強制するシンプルで効果的な手法を提案する。潜在的拡散バックボーンにControlNetを組み合わせ、前向きおよび後向きの変換サイクルにおける整合性正則化を実施する。最小限のデータ（約2,000サンプル）と1GPUでも、翻訳の忠実度、整合性、品質の面で最先端の性能を達成しており、プロンプトの変更によってドメイン外の分布に対してもゼロショット一般化が可能である。

ABSTRACT

Diffusion models (DMs) have enabled breakthroughs in image synthesis tasks but lack an intuitive interface for consistent image-to-image (I2I) translation. Various methods have been explored to address this issue, including mask-based methods, attention-based methods, and image-conditioning. However, it remains a critical challenge to enable unpaired I2I translation with pre-trained DMs while maintaining satisfying consistency. This paper introduces Cyclenet, a novel but simple method that incorporates cycle consistency into DMs to regularize image manipulation. We validate Cyclenet on unpaired I2I tasks of different granularities. Besides the scene and object level translation, we additionally contribute a multi-domain I2I translation dataset to study the physical state changes of objects. Our empirical studies show that Cyclenet is superior in translation consistency and quality, and can generate high-quality images for out-of-domain distributions with a simple change of the textual prompt. Cyclenet is a practical framework, which is robust even with very limited training data (around 2k) and requires minimal computational resources (1 GPU) to train. Project homepage: https://cyclenetweb.github.io/

研究の動機と目的

• 事前学習済み拡散モデルを用いた非ペア設定における一貫性の欠如する画像対画像変換の課題に対処すること。
• ペアデータや複雑なアテンション／マスクの監視を必要とせずに、翻訳の忠実度と構造的一致性を向上させること。
• 単純なプロンプト工学によって、再トレーニングなしにドメイン外の分布に対しても頑健なゼロショット一般化を可能にすること。
• 限定的なデータ（約2,000サンプル）と最小限のハードウェア（1GPU）で効果的に学習できる計算効率の高いフレームワークを開発すること。
• 物体操作における物理的状態変化を研究するための新しいマルチドメインデータセット「ManiCups」を導入すること。

提案手法

• CycleNetは、事前学習済みのStable Diffusionバックボーンを用いたControlNetベースのアーキテクチャを採用し、入力画像とテキストプロンプトの両方に条件付けられた画像対画像変換を実行する。
• 前向きの変換でターゲットドメインに移行した後、逆方向に変換して元の画像に再構築するプロセスを通じて、サイクル整合性を強制する。
• 元の入力とサイクル再構築画像の間の再構築損失を最小化することで、翻訳プロセスを正則化し、構造的および意味的整合性を確保する。
• 拡散プロセスのノイズ除去損失とサイクル整合性損失を組み合わせた学習目的を採用することで、安定かつ高品質な生成を実現する。
• 単にプロンプトを変更するだけでゼロショット推論を可能にし、再トレーニングなしに未学習ドメインにも一般化可能である。
• 追加パラメータと計算コストが最小限の軽量アダプタメカニズムを採用する。

Figure 1 : A high-resolution example of CycleNet for diffusion-based image-to-image translation compared to other diffusion-based methods. CycleNet produces high-quality translations with satisfactory consistency. The areas in the boxes are enlarged for detailed comparisons.

実験結果

リサーチクエスチョン

• RQ1 テキスト誘導拡散モデルにサイクル整合性を非ペア画像対画像変換の文脈で効果的に適用することで、整合性と品質が向上するか？
• RQ2 マスクベースおよびマスクフリーの既存手法と比較して、CycleNetの翻訳忠実度と構造的一致性はどの程度優れているか？
• RQ3 プロンプトの変更のみで、CycleNetがドメイン外の分布にどの程度一般化できるか？
• RQ4 CycleNetが高品質な結果を得るために必要な最小限のデータ量と計算コストは何か？
• RQ5 液体が容器に満たされるなどの物体の物理的状態変化を、CycleNetはどの程度効果的にモデル化できるか？

主な発見

• 空容器からジュースへの変換タスクにおいて、CycleNetはFID（79.02）とFID-clip（23.42）の両方で最低スコアを記録し、CycleDiffusion や Text2LIVE などのすべてのベースラインを上回った。
• 低リソースな空容器から牛乳、空容器から水へのタスクにおいて、それぞれFIDスコアが97.07および95.97と、競合手法よりも顕著に低かった。
• 空容器からジュースへのタスクでCLIPスコア27.75を達成し、ターゲットドメインとの優れた意味的整合性を示した。
• わずか2,000件のトレーニングサンプルと1GPUでも、強力な性能を維持しており、データおよび計算効率の高さを実証した。
• CycleNetは強力なゼロショット一般化を示し、再トレーニングなしにプロンプトの変更のみでドメイン外の分布に対しても高品質な画像を生成できた。
• 定性的な結果から、CycleNetは特に複雑な物体状態変化において、細部と構造的一致性を保持していることが確認され、ManiCupsデータセットでも検証された。

(a) The translation cycle in diffusion-based I2I translation.