[論文レビュー] Generative Modelling With Inverse Heat Dissipation

Severi Rissanen, Markus Heinonen+1 more|arXiv (Cornell University)|Jun 21, 2022

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

本稿では、逆熱拡散モデル（IHDM）を提案する。これは、熱方程式を逆転させることで、粗い平均化された表現から高分解能の詳細を確率的に再構築することで画像を生成する、新しい拡散型生成モデルである。ノイズを含む熱方程式の変分推論解釈とスペクトル解析を通じて、画像に内在する多スケール構造を活用することで、色と形状の分離された生成、滑らかな補間、およびデータ効率の向上を達成する。

ABSTRACT

While diffusion models have shown great success in image generation, their noise-inverting generative process does not explicitly consider the structure of images, such as their inherent multi-scale nature. Inspired by diffusion models and the empirical success of coarse-to-fine modelling, we propose a new diffusion-like model that generates images through stochastically reversing the heat equation, a PDE that locally erases fine-scale information when run over the 2D plane of the image. We interpret the solution of the forward heat equation with constant additive noise as a variational approximation in the diffusion latent variable model. Our new model shows emergent qualitative properties not seen in standard diffusion models, such as disentanglement of overall colour and shape in images. Spectral analysis on natural images highlights connections to diffusion models and reveals an implicit coarse-to-fine inductive bias in them.

研究の動機と目的

• 標準的な拡散モデルには明示的な多スケールインダクティブバイアスが欠如しているという問題に対処すること。これは、自然画像の階層的構造を明示的にモデル化していないためである。
• 熱方程式（自然に細かいスケールの詳細を消去する偏微分方程式）を逆転させることで、原理的で微分可能な生成プロセスとなり、分離性と滑らかさが出現するかどうかを検証すること。
• 前向きな熱プロセスが学習された生成関数の単純さをどのように誘発するかを調査し、データ効率に与える影響を明らかにすること。
• 自然画像のスペクトル解析を通じて、標準的な拡散モデルに暗黙的に存在する粗〜細かいインダクティブバイアスを明らかにすること。
• 逆熱拡散プロセスが高品質で多様な画像を生成でき、同時に色と形状の制御可能な分離を可能にすることを実証すること。

提案手法

• 前向きプロセスは、画像データを時間とともに徐々に滑らかにし、平均化することで低次元の粗い表現に射影する。このプロセスは熱方程式 ∂u/∂t = Δu に従う。
• 逆プロセスは、変分推論フレームワークを用いて熱方程式を確率的に逆転させる。小さな追加ノイズを含む解は、潜在変数モデルにおける近似的な事後分布として解釈される。
• 訓練データに基づくカーネル密度推定を用いて、粗い平均化画像上の事前分布をモデル化し、効率的なサンプリングを可能にする。
• 計算効率を高めるために、生成プロセスはラプラシアン演算子の固有基底における逆熱作用素を数値的に適用するスキームで実装される。
• 不安定な逆問題を安定化させるために、逆プロセス中にノイズを導入する。デフォルト値は、データセットにかかわらず δ = 1.25 × σ である。
• 色と形状の分離は、サンプリングノイズを固定し、初期の粗い画像事前分布のみを変化させることで達成される。これにより、グローバルな色と構造的形状を独立して制御可能となる。

実験結果

リサーチクエスチョン

• RQ1 熱方程式を逆転させることで、自然画像の多スケール性を捉える原理的で微分可能な生成プロセスとして機能するか？
• RQ2 逆熱拡散プロセスは、色や形状といったグローバルな画像属性の出現的分離をもたらすか？
• RQ3 自然画像のスペクトル構造と、標準的な拡散モデルのインダクティブバイアスとの関係は何か？また、これとIHDMの違いは何か？
• RQ4 前向きな熱プロセスが、生成モデルが学習すべき関数の単純さをどの程度誘発するか？そのデータ効率への影響は？
• RQ5 IHDMは高精細な画像生成を達成すると同時に、色や形状といった画像属性の制御可能で分離可能な操作を可能にするか？

主な発見

• サンプリングノイズを固定し、初期の粗い事前分布のみを変更することで、全体的な色と画像形状の分離された生成が達成され、属性編集の制御性が示された。
• 生成されたサンプル間の滑らかな補間が観察され、連続的な遷移を示す良好に整った潜在空間を持つことが示された。
• 自然画像のスペクトル解析により、標準的な拡散モデルは暗黙的に粗〜細かい生成を実行しているが、IHDMとは異なり、熱方程式によるスケール空間の明示的モデル化が欠如していることが明らかになった。
• 前向きな熱プロセスにより生成関数の単純さが誘発され、限定的なデータでも有効なマッピングを学習できるという証拠から、データ効率の向上が示唆された。
• MNISTでは、決定論的サンプリング（δ = 0）でも良好に動作し、ノイズレベルの堅牢性が示された。一方、高すぎるノイズレベルは最終的に性能を低下させ、最適なノイズスケジューリングの重要性が確認された。
• IHDMが生成したサンプルは、標準的な拡散モデルよりも訓練データにユークリッド距離で近い傾向にあり、訓練分布の構造をより忠実に再構築している可能性を示唆している。