[論文レビュー] On Noise Injection in Generative Adversarial Networks

Ruili Feng, Deli Zhao+1 more|arXiv (Cornell University)|Jun 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 4

ひとこと要約

本稿では、リーマン多様体理論に基づく幾何的枠組みを提案し、GANにおけるノイズ注入が生成器の表現力をどのように向上させるかを説明する。ノイズ注入を指数写像を用いてモデル化することで、ランク不足のヤコビ行列が引き起こす「敵対的次元の罠」を克服し、画像の忠実度と安定性が向上することを示した。実験ではStyleGAN2で優れたFIDおよびPPLスコアが得られた。

ABSTRACT

Noise injection has been proved to be one of the key technique advances in generating high-fidelity images. Despite its successful usage in GANs, the mechanism of its validity is still unclear. In this paper, we propose a geometric framework to theoretically analyze the role of noise injection in GANs. Based on Riemannian geometry, we successfully model the noise injection framework as fuzzy equivalence on the geodesic normal coordinates. Guided by our theories, we find that the existing method is incomplete and a new strategy for noise injection is devised. Experiments on image generation and GAN inversion demonstrate the superiority of our method.

研究の動機と目的

• GAN生成器における深さの進行に伴いヤコビ行列のランクが減少することで生じる内在的制限を特定・形式化すること。
• ノイズ注入がなぜこの制限を効果的に緩和し、GANにおける生成器の表現力を向上させるかを説明すること。
• StyleGANで用いられるユークリッド形式を越えた一般化された、幾何的に整合性のあるノイズ注入法を構築すること。
• 画像生成およびGANの逆問題に関する実験を通じて、理論枠組みの妥当性を検証し、性能指標の向上を示すこと。

提案手法

• 著者らは、リーマン多様体理論を用いた幾何的枠組みを導入し、指数写像を用いてノイズ注入をモデル化することで、ノイズ注入機構の非ユークリッドへの一般化を可能にした。
• 彼らは、生成器の表現能力がヤコビ行列の単調なランク減少によって制限されるという「敵対的次元の罠」を、GANにおける根本的問題として特定した。
• リーマン指数写像に基づく新しいノイズ注入定式化を導出し、これはStyleGANにおける標準的なユークリッドノイズ注入を任意の多様体へ一般化するものである。
• 標準的なノイズ注入を、平坦な幾何構造下での提案されたリーマンノイズ注入（RNI）枠組みの特別な場合として再解釈した。
• GANの数値的安定性および可逆性を評価するため、パス長正則化子および条件数解析を統合した。
• FID、PPL、条件数指標を用いて、FFHQおよびLSUN-Churchデータセットで実験を行い、ベースラインGANおよびStyleGAN2と比較して本手法の優位性を検証した。

実験結果

リサーチクエスチョン

• RQ1 なぜノイズ注入は、StyleGANなどの最先端GANにおいて、画像品質と学習安定性を顕著に向上させるのか？
• RQ2 ノイズ注入がGANにおける生成器の表現力を向上させる背後にある幾何的メカニズムは何か？
• RQ3 生成器のヤコビ行列のランク不足が、複雑なデータ多様体をモデル化する能力をどのように制限するのか？
• RQ4 ノイズ注入をユークリッド設定を超えて、GANの特徴空間の内在的幾何をよりよく反映する形に一般化できるか？
• RQ5 提案されたリーマンノイズ注入枠組みは、画像忠実度、数値的安定性、GANの逆問題品質において測定可能な向上をもたらすか？

主な発見

• GANにおける生成器の表現力は、ネットワークの深さに伴い単調に減少するヤコビ行列のランクによって根本的に制限されており、これが「敵対的次元の罠」として現れる。
• ノイズ注入は、生成器出力多様体の有効次元を増加させることで、この制限を効果的に是正し、表現力と一般化性能を向上させる。
• 提案されたリーマンノイズ注入（RNI）枠組みは、StyleGANにおける標準的なノイズ注入を非ユークリッド幾何に一般化し、より原理的かつ柔軟な定式化を提供する。
• FFHQデータセットでは、提案されたRNI法がFréchet Inception Distance（FID）6.31およびPer-Fréchet Feature Distance（PPL）0.530を達成し、StyleGAN2（FID: 6.31、PPL: 0.530）および他のベースラインを上回った。
• 条件数解析の結果、RNIは数値的安定性を顕著に向上させ、平均条件数が0.530、上位1000個の平均条件数が1.05であった。これは、より高い耐障害性を示している。
• GANの逆問題タスクでは、困難な非正面または遮蔽された顔に対しても、優れた性能を示し、潜在空間の制御性および埋め込み能力が向上していることが明らかになった。