[論文レビュー] Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks

Yash Upadhyay, Paul Schrater|arXiv (Cornell University)|Jun 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 24

ひとこと要約

本論文は、従来のCNNディスクライマーにキャプセルネットワーククリティックを導入することで、空間的関係をよりよく捉える位置に等価性を活用する、新しいGANアーキテクチャを提案する。キャプセルGANは、少ない訓練サンプルとエポック数でも、より速い収束と優れた画像忠実度を達成する。また、CNNベースのGANと比較して、生成画像のカバレッジと多様性が顕著に向上している。

ABSTRACT

In this paper, we propose Generative Adversarial Network (GAN) architectures that use Capsule Networks for image-synthesis. Based on the principal of positional-equivariance of features, Capsule Network's ability to encode spatial relationships between the features of the image helps it become a more powerful critic in comparison to Convolutional Neural Networks (CNNs) used in current architectures for image synthesis. Our proposed GAN architectures learn the data manifold much faster and therefore, synthesize visually accurate images in significantly lesser number of training samples and training epochs in comparison to GANs and its variants that use CNNs. Apart from analyzing the quantitative results corresponding the images generated by different architectures, we also explore the reasons for the lower coverage and diversity explored by the GAN architectures that use CNN critics.

研究の動機と目的

• 空間的関係を位置に等価性でよりよくモデル化できるキャプセルネットワークを、GANのクリティックに導入することで、画像合成の性能を向上させること。
• キャプセルネットワークに基づくより強力なクリティックが、生成器の学習を加速させ、サンプル品質を向上させるかどうかを調査すること。
• CNNベースのクリティックが、生成画像多様体における完全なカバレッジと多様性を達成できない理由を分析すること。
• 分割補助クリティックアーキテクチャを用いて、条件付き画像合成におけるキャプセルネットワークの実用可能性を検討すること。
• 異なるデータセットおよび訓練環境において、キャプセルGANの一般化性能とロバスト性を評価すること。

提案手法

• WGANにおける標準的なCNNディスクライマーを、動的ルーティングと空間的関係モデリングを活用できるキャプセルネットワーククリティックに置き換える。
• 安定した訓練とクリティックの1リプシッツ連続性を保証するため、勾配ペナルティを用いたワッサーシュタインGAN（WGAN-GP）損失を採用する。
• 条件付き画像生成をサポートするため、分割補助クリティックアーキテクチャを実装する。補助ヘッドはクラスラベルを処理し、メインヘッドはキャプセルネットワーク特徴を用いる。
• 主成分分析（PCA）を用いてキャプセル表現を2次元空間に投影し、特徴のカバレッジと多様体探索を可視化する。
• キャプセル層間で動的ルーティングを適用し、キャプセルが関連する親キャプセルに注目できるようにし、空間階層とインスタンシエーションパラメータを符号化する。
• 生成器を、CNNよりもより情報量が多くグローバルに意識された勾配を提供するキャプセルネットワーククリティックの勾配に基づいて訓練する。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、画像合成におけるGANのクリティックとして、CNNよりも効果的であるか？
• RQ2 キャプセルネットワーククリティックを用いることで、生成画像の収束が速くなり、視覚的忠実度が向上するか？
• RQ3 なぜCNNベースのクリティックは、生成画像多様体における完全なカバレッジと多様性を達成できないことが多いのか？
• RQ4 キャプセルネットワークの空間的関係モデリングは、生成器のデータ多様体探索能力をどのように向上させるか？
• RQ5 GANフレームワークにおいて、キャプセルネットワークを条件付き画像合成に効果的に適応できるか？

主な発見

• キャプセルGANは、CNNベースのGANと比較して、はるかに少ない訓練エポック数とサンプル数で視覚的に正確な画像合成を達成し、収束が速いことが示された。
• キャプセル空間への投影において、IWGANと比較して重なり領域が広いことから、キャプセルGANは訓練データ多様体のより広い範囲をカバーしていることが裏付けられた。
• キャプセルネットワーククリティックを用いた生成器は、キャプセル表現空間における二次主成分に沿った分布が広がっており、より高い多様性を示した。
• CNNベースのクリティック（IWGAN）は、キャプセルネットワークが特定した重要な特徴を捉えられず、多様体理解が限定的でカバレッジが低いことがわかった。
• キャプセルGANの優れた性能は、動的ルーティングによる空間的関係のモデル化に起因し、生成器により情報量の多い勾配を供給できるからである。
• 少ない訓練サンプルでも、キャプセルGANは視覚的品質と多様体カバレッジの両面で、CNNベースのベースラインを上回った。これは、データ効率性の優位性を示している。