[論文レビュー] FreeU: Free Lunch in Diffusion U-Net

Chenyang Si, Ziqi Huang+2 more|arXiv (Cornell University)|Sep 20, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

FreeUは、U-Netバックボーンとスカイプ接続からの特徴寄与を再重み付けすることで、追加の訓練、パラメータ、計算コストをかけずに、生成品質を向上させる画期的な推論時手法である。この手法により、Stable Diffusion や DreamBooth などのモデルで、推論時に単純なスケーリング係数を用いることで顕著な品質向上が達成される。

ABSTRACT

In this paper, we uncover the untapped potential of diffusion U-Net, which serves as a "free lunch" that substantially improves the generation quality on the fly. We initially investigate the key contributions of the U-Net architecture to the denoising process and identify that its main backbone primarily contributes to denoising, whereas its skip connections mainly introduce high-frequency features into the decoder module, causing the network to overlook the backbone semantics. Capitalizing on this discovery, we propose a simple yet effective method-termed "FreeU" - that enhances generation quality without additional training or finetuning. Our key insight is to strategically re-weight the contributions sourced from the U-Net's skip connections and backbone feature maps, to leverage the strengths of both components of the U-Net architecture. Promising results on image and video generation tasks demonstrate that our FreeU can be readily integrated to existing diffusion models, e.g., Stable Diffusion, DreamBooth, ModelScope, Rerender and ReVersion, to improve the generation quality with only a few lines of code. All you need is to adjust two scaling factors during inference. Project page: https://chenyangsi.top/FreeU/.

研究の動機と目的

• 拡散モデルにおけるU-Netの内部ダイナミクス、特にノイズ除去過程におけるバックボーンとスカイプ接続特徴の異なる役割を調査すること。
• スカイプ接続がバックボーンを上回ることで、意味的理解が劣化し、異常な詳細生成が生じる問題に対処すること。
• 推論コスト、訓練、モデルの複雑さを増加させることなく、サンプル品質を向上させる手法を開発すること。
• 既存の拡散モデルにシームレスに統合可能であり、テキスト-to-画像およびテキスト-to-ビデオタスクの多様な分野で即座に品質向上を実現すること。

提案手法

• U-Netデコーダー内のバックボーン特徴およびスカイプ接続特徴に学習可能なスケーリング係数を適用する、シンプルな推論時技術であるFreeUを提案する。
• 2つの主要な構成要素を導入：バックボーン特徴スケーリング（b）とスカイプ特徴スケーリング（s）、これらによりメインのU-Netパスとスカイプ接続からの寄与を再バランス化する。
• 特徴マップの空間的構造を用いてバックボーンスケーリングをガイドする、構造関連のスケーリング係数マップを採用し、過剰な平滑化を低減する。
• フーリエ解析を用いて、ノイズ除去過程で高周波成分がより大きく変動することを明らかにし、スカイプ接続寄与の制御の必要性を裏付ける。
• 各U-Netデコーダーブロックにおける特徴空間での再重み付けを、結合の前に行い、バックボーンの意味的表現を保持するとともに高周波成分の詳細を維持する。
• 2つのハイパーパrameter（b と s）のみを必要とし、最小限のコード変更で任意の事前学習済み拡散モデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 拡散U-Netにおけるバックボーンとスカイプ接続は、ノイズ除去プロセスにおいてどのように異なる寄与をしているか？
• RQ2 スカイプ接続は細部の強化に寄与するが、なぜ意味的品質が劣化し、異常なテクスチャ生成が生じるのか？
• RQ3 スカイプ接続に対するバックボーン寄与の再重み付けによって、U-Netバックボーンのノイズ除去能力を回復させられるか？
• RQ4 推論時にシンプルでパラメータフリーな手法が、計算コストを増加させることなく顕著なサンプル品質向上を達成できるか？
• RQ5 構造的情報に基づく適応的スケーリングの影響は、テクスチャの保持と全体的な画像のリアリズムにどのような影響を与えるか？

主な発見

• U-Netバックボーンは主にノイズ除去に寄与するが、スカイプ接続は高周波成分を導入し、バックボーンの意味的表現を損なう可能性がある。
• バックボーンスケーリング（b）のみを用いたFreeUは、詳細のリアリズムを向上させる。例として、「濃い紫色のローブを着た太ったウサギ…」というプロンプトに対して、歪んだ四肢ではなく正常な四肢を持つウサギを生成する。
• バックボーン特徴スケーリングとスカイプ特徴スケーリング（b と s）を併用することで、テクスチャの過剰な平滑化が軽減され、例として「シンセウェーブ風の夕焼け…」というプロンプトでよりリアルな空の描写が得られる。
• 構造関連スケーリング係数マップは、固定スケーリングに比べて過剰な平滑化や色の過剰飽和を低減し、詳細の忠実度を向上させる。
• フーリエ解析により、FreeUがノイズ除去過程で過剰な高周波成分を抑制していることが確認され、ノイズ除去の目的と整合的である。
• FreeUは特徴マップの品質を向上させ、図16に示すように、デコーダー内でのより構造的かつ一貫性のある表現が得られている。