[論文レビュー] Idempotent Generative Network

Assaf Shocher, Amil Dravid+4 more|arXiv (Cornell University)|Nov 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文では、イデムポテン（冪等）な性質を持つ、新たな生成モデルであるアイデムポテン生成ネットワーク（IGN）を紹介する。イデムポテン性とは、一度適用した後、さらに繰り返し適用しても出力に変化がないことを意味する。$f(f(z)) = f(z)$ を最適化することで、ノイズや損傷のある画像など、任意の分布からの入力を、たった一度のステップでターゲットのデータ多様体（例：本物の画像）に射影できる。これにより、一貫性のある潜在空間の操作と、1つのモデルでゼロショット画像間変換が可能になる。

ABSTRACT

We propose a new approach for generative modeling based on training a neural network to be idempotent. An idempotent operator is one that can be applied sequentially without changing the result beyond the initial application, namely $f(f(z))=f(z)$. The proposed model $f$ is trained to map a source distribution (e.g, Gaussian noise) to a target distribution (e.g. realistic images) using the following objectives: (1) Instances from the target distribution should map to themselves, namely $f(x)=x$. We define the target manifold as the set of all instances that $f$ maps to themselves. (2) Instances that form the source distribution should map onto the defined target manifold. This is achieved by optimizing the idempotence term, $f(f(z))=f(z)$ which encourages the range of $f(z)$ to be on the target manifold. Under ideal assumptions such a process provably converges to the target distribution. This strategy results in a model capable of generating an output in one step, maintaining a consistent latent space, while also allowing sequential applications for refinement. Additionally, we find that by processing inputs from both target and source distributions, the model adeptly projects corrupted or modified data back to the target manifold. This work is a first step towards a ``global projector'' that enables projecting any input into a target data distribution.

研究の動機と目的

• ノイズ、スケッチ、損傷のある画像など、多様な入力を、1ステップでターゲットのデータ多様体（例：本物の画像）に射影できる統合的生成モデルの開発。
• 従来のモデルが特定の入力タイプ（例：GANでは潜在ノイズ、拡散モデルではノイズ付き画像）に依存するという制限を克服し、任意の入力を処理できる1つのモデルを実現すること。
• 一貫性のある潜在空間の性質を実現するとともに、1ステップ生成と段階的改善の両方を可能にし、GANと拡散モデルの利点を統合すること。
• 生成モデルの新しいパラダイムとして、イデムポテンスに基づくものに焦点を当て、モデルがデータ多様体へのグローバル射影子として機能することを検討すること。
• 逆問題や条件付き制約を必要とせず、イデムポテンス射影により任意の入力をターゲット分布にマッピングするように訓練することで、ゼロショット画像間変換を可能にすること。

提案手法

• 繰り返し適用しても出力が変化しないように、$f(f(z)) = f(z)$ を満たすように、ニューラルネットワーク $f$ をイデムポテンス性を持つように訓練する。
• ターゲット多様体を、$f(x) = x$ を満たすすべての入力 $x$ の集合として定義し、本物のデータサンプルがモデル変換に対して不変であることを保証する。
• 入力分布 $z \sim \mathcal{P}_z$ からのサンプルを、このターゲット多様体に射影するために、イデムポテンス損失 $\mathcal{L}_{\text{idem}} = \|f(f(z)) - f(z)\|^2$ を用いて $f$ を最適化する。
• 自明な解を防ぐために、非ターゲット入力に対しては $f(f(z)) \neq f(z)$ となるように、タイトネス損失 $\mathcal{L}_{\text{tight}}$ を導入し、イデムポテンス目的とバランスを取る。
• 自己対抗的訓練方式を採用し、$f$ が生成器としても判別器としても機能するようにする。判別器 $\delta$ は距離 $D(f(y), y)$ を測定し、$f$ が低エネルギーで安定した射影に向かって誘導する。
• $f$ に残差U-Netアーキテクチャを採用し、イデムポテンス損失、再構成損失、タイトネス損失の組み合わせで訓練することで、高精細な画像生成と改善を実現する。

Figure 1: The basic idea behind IGN: real examples ( $x$ ) are invariant to the model $f$ : $f(x)=x$ . other inputs ( $z$ ) are projected onto the manifold of instances that $f$ maps to themselves by optimizing for $f(f(z))=f(z)$ .

実験結果

リサーチクエスチョン

• RQ1 イデムポテンス性を用いて、ノイズや損傷のある画像など、任意の入力を1ステップでターゲットのデータ多様体に射影できる1つの生成モデルを訓練できるか？
• RQ2 イデムポテンス性 $f(f(z)) = f(z)$ を強制することで、繰り返しの改善や条件付き制約を必要とせずに、安定的かつ一貫性のある高品質な生成が可能になるか？
• RQ3 拡散モデルが繰り返し適用することで改善するのと同様に、1ステップ生成が可能であるGANの利点を活かしながら、一貫性のある潜在空間を維持できるか？
• RQ4 逆問題やファインチューニングを必要とせず、ゼロショット画像間変換タスクにどの程度一般化できるか？
• RQ5 モデルが生成器としても判別器としても機能する自己対抗的訓練方式は、モード崩壊を回避しながら、安定した最適化をどのように可能にするか？

主な発見

• イデムポテンス性を用いることで、ノイズや損傷のある画像など、任意の入力分布からの高精細な画像を1ステップで生成し、ターゲットのデータ多様体に射影できる。
• イデムポテンス訓練目的 $f(f(z)) = f(z)$ により、一度ターゲット多様体に射影されたサンプルは、その後の適用で変化せず、安定的かつ一貫性のある推論が可能になる。
• モデルは一貫性のある潜在空間を維持しており、拡散モデルが繰り返しのノイズ除去パスに依存するのとは異なり、容易な補間や操作が可能になる。
• 自己対抗的訓練方式により、$f$ が生成器としても判別器としても機能するため、交互に訓練するステップを必要とせず、学習プロセスが簡素化される。
• モデルは、劣化したまたは変更された入力（例：スケッチ、低品質な画像）を本物の画像多様体に再射影することで、逆問題や条件付き監視を必要とせずにゼロショット画像間変換を成功させる。
• オートエンコーダーに共通するぼやけ具合の問題を抱えながらも、モデルの繰り返し適用によりアーティファクトが改善され、知覚的品質が向上するため、高精細な生成における段階的改善の可能性が示唆される。

Figure 2: Two distinct pathways to enforce Idempotence: By updating $f$ so it maps $f(z)$ into the $\{f(y)=y\}$ area (updating through first instatiation, ${\color[rgb]{1,0,0}\Delta f}$ ) or by expanding the $\{f(y)=y\}$ area so that for a given $y=f(z)$ , we get $f(y)=y$ (updating through second in