[論文レビュー] Positional Encoding as Spatial Inductive Bias in GANs

Rui Xu, Xintao Wang+3 more|arXiv (Cornell University)|Dec 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 7

ひとこと要約

この論文は、畳み込み生成モデルのゼロパディングが、翻訳不変性にもかかわらず高精細な画像生成を可能にする、意図しない非対称な位置符号化を暗黙的に生成することを明らかにした。空間的帰納バイアスを向上させるために、著者らは明示的な位置符号化法—デカルト座標グリッドと2次元サイン波符号化—を提案し、これにより新たなマルチスケール学習戦略（MS-PIE）が可能になった。これにより、1つの256×256スタイルGAN2が1024×1024までの高品質な画像を生成可能となり、同時にSinGANの画像操作における汎用性が著しく向上した。

ABSTRACT

SinGAN shows impressive capability in learning internal patch distribution despite its limited effective receptive field. We are interested in knowing how such a translation-invariant convolutional generator could capture the global structure with just a spatially i.i.d. input. In this work, taking SinGAN and StyleGAN2 as examples, we show that such capability, to a large extent, is brought by the implicit positional encoding when using zero padding in the generators. Such positional encoding is indispensable for generating images with high fidelity. The same phenomenon is observed in other generative architectures such as DCGAN and PGGAN. We further show that zero padding leads to an unbalanced spatial bias with a vague relation between locations. To offer a better spatial inductive bias, we investigate alternative positional encodings and analyze their effects. Based on a more flexible positional encoding explicitly, we propose a new multi-scale training strategy and demonstrate its effectiveness in the state-of-the-art unconditional generator StyleGAN2. Besides, the explicit spatial inductive bias substantially improve SinGAN for more versatile image manipulation.

研究の動機と目的

• 翻訳不変性を持つ畳み込み生成モデル（SinGAN や StyleGAN2 など）が、空間的に独立同分布（i.i.d.）な入力であるにもかかわらず、構造的で高精細な画像を生成できる理由を調査すること。
• ゼロパディングによって生じる意図しない空間的バイアスと、それが特徴マップ全体にわたって非対称に分布することを分析すること。
• デカルト座標グリッドと2次元サイン波符号化という明示的な位置符号化法を、暗黙のゼロパディングバイアスよりも優れた代替手段として提案すること。
• 1つの生成器が複数の解像度で画像を合成できるマルチスケール学習戦略（MS-PIE）を開発すること。
• 明示的な空間的帰納バイアスを用いることで、高解像度画像の外挿と操作に向けたSinGANのロバスト性と汎用性を向上させること。

提案手法

• 著者らは、ゼロパディングが境界の非対称効果によって暗黙の位置符号化を導入することを特定した。この符号化は、特徴マップの端縁から徐々に中心部へと広がる。
• 2種類の明示的な位置符号化法を評価した：正規化されたデカルト座標グリッドと2次元サイン波符号化。両者とも、バランスの取れた空間的帰納バイアスを提供することを目的として設計された。
• 位置符号化を異なる入力スケールに適応させる新しいマルチスケール学習戦略「PositIon Encodingsを用いたマルチスケール学習（MS-PIE）」を提案した。
• この手法は、生成器の入力に明示的な位置符号化を統合し、ゼロパディングに起因する暗黙のバイアスを置き換えたり補完したりする。
• StyleGAN2とSinGANの両方で検証を行い、パディングフリーな設定や異なるスケール変換の下でのアブレーションスタディを実施した。
• チャネル幅を半分に減らした軽量バージョンの生成器をテストし、明示的な位置符号化を用いることで、容量が小さい場合でも性能が維持されることを示した。

Figure 1: Images sampled from the internal patch distribution learned by SinGAN. Above the dotted line, we present sampled balloons with standard SinGAN and padding-free SinGAN. A more challenging case of generating a school of fish is shown below the dotted line. (c)-(f) show the effects of differe

実験結果

リサーチクエスチョン

• RQ1 翻訳不変性を持つ畳み込み生成モデル（GAN）が、空間的にi.i.d.なノイズ入力であるにもかかわらず、なぜ構造的で高精細な画像を生成できるのか？
• RQ2 ゼロパディングがどのように暗黙的で非対称な位置符号化を生成し、GAN生成器の特徴マップ分布に影響を及ぼすのか？
• RQ3 デカルト座標グリッドや2次元サイン波符号化といった明示的な位置符号化法が、暗黙のゼロパディングバイアスよりもよりバランスの取れて効果的な空間的帰納バイアスを提供できるか？
• RQ4 1つの事前学習済みの256×256スタイルGAN2生成器を、明示的な位置符号化を用いて高品質なマルチスケール画像合成に適応できるか？
• RQ5 明示的な位置符号化は、高解像度画像の外挿や操作タスクにおいて、SinGANのロバスト性と汎用性をどのように向上させるか？

主な発見

• ゼロパディングは、翻訳不変性にもかかわらず、GAN生成器に意図しない暗黙の位置符号化を無意識に導入しており、これが構造的で高精細な画像生成を可能にしている。
• ゼロパディングに起因する暗黙のバイアスは非対称であり、画像の端縁やコーナー部で強く、中心部では劣化した性能を示す。これは、SinGANの魚生成例で観察された。
• 明示的な位置符号化法（デカルト座標グリッドと2次元サイン波符号化）は、画像全体にわたって一貫性があり安定した空間的構造を生成し、パッチ再現性とグローバルコherenceを向上させる。
• 提案されたMS-PIE戦略により、1つの256×256スタイルGAN2生成器が512×512、896×256、1024×1024解像度の高品質な画像を生成可能となり、FIDとP&Rスコアがベースライン手法を著しく上回った。
• 明示的な位置符号化を用いたSinGANは、忠実なグローバル構造の保持とスケールアップ時の歪み低減を実現し、ゼロパディングベースラインを上回る画像操作性能を達成した。
• MS-PIE生成器の軽量バージョンで、チャネル幅を半分にしても競争力のある性能を維持しており、明示的な位置符号化の効率性とロバスト性を示している。

Figure 2 : Illustration for the convolutional procedure with zero padding. We move the padding in each layer to the input feature and regard the whole convolutional network as a convolutional layer with a large kernel.