[論文レビュー] Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling

Đorđe Miladinović, Aleksandar Stanić+3 more|arXiv (Cornell University)|Mar 16, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 8

ひとこと要約

本稿では、空間的整合性と長距離依存関係を段階的かつゲート付きのメカニズムでモデル化することで、変分オートエンコーダー（VAEs）における画像生成を向上させる、空間的依存性ネットワーク（SDNs）と呼ばれる新しいニューラルアーキテクチャを提案する。SDNデコーダーは、特に非自己回帰的設定において、畳み込みベースラインと比較して対数尤度性能と分離表現学習の両方を顕著に向上させる。

ABSTRACT

How to improve generative modeling by better exploiting spatial regularities and coherence in images? We introduce a novel neural network for building image generators (decoders) and apply it to variational autoencoders (VAEs). In our spatial dependency networks (SDNs), feature maps at each level of a deep neural net are computed in a spatially coherent way, using a sequential gating-based mechanism that distributes contextual information across 2-D space. We show that augmenting the decoder of a hierarchical VAE by spatial dependency layers considerably improves density estimation over baseline convolutional architectures and the state-of-the-art among the models within the same class. Furthermore, we demonstrate that SDN can be applied to large images by synthesizing samples of high quality and coherence. In a vanilla VAE setting, we find that a powerful SDN decoder also improves learning disentangled representations, indicating that neural architectures play an important role in this task. Our results suggest favoring spatial dependency over convolutional layers in various VAE settings. The accompanying source code is given at https://github.com/djordjemila/sdn.

研究の動機と目的

• 画像内の空間的規則性と整合性に基づく誘導的バイアスを組み込むことで、生成的画像モデリングを改善すること。
• 標準的な畳み込み層が特徴マップにおける長距離空間的依存関係を捉えられず、空間的整合性を強制できないという限界を解決すること。
• デコーダーにおけるアーキテクチャの改善が、VAEsにおける分離表現学習をどのように向上させるかを調査すること。
• 実データおよび合成データセットにおいて、階層的および非階層的VAE設定の両方でSDNの有効性を評価すること。
• SDNが、多様な画像生成および表現学習タスクにおいて、パラメータ交換可能なモジュールとして利用可能であることを示すこと。

提案手法

• SDNは、2次元空間上の位置を段階的に処理し、文脈的情報を層間に伝播させることで、特徴マップの空間的整合性を保証する、逐次的かつゲート付きのメカニズムを導入する。
• 各SDN層は、空間的近接性と類似性に基づいて、特徴ベクトルの条件付き補正を計算する、共有で学習可能な決定的関数を用いる。
• アーキテクチャは空間的に等長性を持つように設計されており、パラメータ共有により、畳み込みニューラルネットワーク（CNNs）と同様に並進不変性を確保するが、長距離依存関係のモデル化が強化されている。
• SDNは、階層的および通常のVAEのデコーダーに統合され、標準的なデコンボリューションまたは転置畳み込み層の代わりに使用される。
• 標準的な指標を用いて評価される：負のELBO（ビット/次元単位）、対数尤度、および分離性スコア（β-VAEおよびFactorVAE）。
• 訓練には、特に非階層的VAE設定で顕著な事後分布崩壊を緩和するため、β-アニーリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 空間的整合性と長距離依存関係を明示的にモデル化するニューラルアーキテクチャが、標準的な畳み込みデコーダーと比較して、VAEsにおける画像生成を改善できるか？
• RQ2 SDNをVAEデコーダーに統合することで、CIFAR10 や ImageNet32 といった実世界の画像データセットにおける密度推定性能が向上するか？
• RQ3 β-VAEおよびFactorVAEの指標を用いた非階層的VAEにおいて、SDNが分離表現学習を向上させられるか？
• RQ4 高解像度画像合成において、特に整合性が重要な高温度サンプリング条件下でSDNはどのように性能を発揮するか？
• RQ5 表現学習の向上は、アーキテクチャの容量に起因するのか、それとも空間的誘導的バイアスの明示的モデル化に起因するのか？

主な発見

• CIFAR10およびImageNet32において、SDN-VAEはテスト時の対数尤度が7.95 ± 0.07ビット/次元（BPD）を達成し、CNNベースラインの7.40 ± 0.07 BPDを顕著に上回った。
• 3D-Shapesの合成データセットでは、SDNベースのVAEが負のELBOで2.66 ± 0.04 BPDを達成したのに対し、CNNベースラインは4.44 ± 0.04 BPDであった。これは、密度推定性能の優位性を示している。
• さまざまなβ値において、β-VAEおよびFactorVAEの両指標で、SDNベースのVAEは優れた分離性能を示し、潜在因子の分離性が向上していることが確認された。
• CelebAHQ256における高解像度画像合成では、高温度サンプリング時でも視覚的に整合性があり高品質なサンプルが得られ、標準モデルが失敗する状況でも安定して動作した。
• 教師強制（teacher forcing）を用いずとも、分離性の向上が観察され、β-アニーリングにより事後分布崩壊が効果的に抑制された。
• 結果から、特に空間的整合性のモデル化が、分離表現学習を可能にする上で極めて重要な役割を果たしていることが示唆され、強力なデコーダーが表現学習を損なうという考え方に疑問を呈するものとなった。