[論文レビュー] Adversarial Learning with Local Coordinate Coding

Jiezhang Cao, Yong Guo+4 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 21

ひとこと要約

本稿では、実データの潜在多様体からサンプリングするための局所座標符号化（LCC）を用いた生成対抗ネットワーク、LCC-GANsを提案する。この手法は、局所的な幾何構造を捉えることで生成品質を向上させる。自己符号化器を用いてデータ駆動型の潜在分布を学習し、LCCに基づくサンプリングを適用することで、低次元の入力でも優れた一般化性能を達成し、d=30ですでに最先端のGANを上回り、d=100でも同等またはそれを上回る性能を示す。

ABSTRACT

Generative adversarial networks (GANs) aim to generate realistic data from some prior distribution (e.g., Gaussian noises). However, such prior distribution is often independent of real data and thus may lose semantic information (e.g., geometric structure or content in images) of data. In practice, the semantic information might be represented by some latent distribution learned from data, which, however, is hard to be used for sampling in GANs. In this paper, rather than sampling from the pre-defined prior distribution, we propose a Local Coordinate Coding (LCC) based sampling method to improve GANs. We derive a generalization bound for LCC based GANs and prove that a small dimensional input is sufficient to achieve good generalization. Extensive experiments on various real-world datasets demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 標準のGANが独立で事前に定義された事前分布（例：ガウス分布）に依存するという制限を解決すること。これは、意味的および幾何的構造を失う要因となる。
• 潜在空間における局所的多様体構造を活用したサンプリング手法を開発し、より意味的で多様なサンプルを生成すること。
• 潜在多様体の内在次元との関連において、GANの一般化性能を理論的に分析すること。
• LCCに基づくサンプリングを用いる場合、小さな次元の潜在空間（例：d=30）が、良好な一般化を達成するのに十分であることを示すこと。

提案手法

• 実データを低次元の潜在多様体に埋め込むために自己符号化器を訓練し、意味的および幾何的構造を保持する。
• 局所座標符号化（LCC）を適用し、アンカーポイントと適応的重みを用いて潜在多様体上の点を表現する。
• LCCサンプリング法により、近接するアンカーポイントと学習された係数を組み合わせて新しい潜在コードを生成し、局所的で構造に配慮したサンプリングを可能にする。
• ラデマッハ複雑度を用いて一般化バウンドを導出し、識別器の誤差と潜在多様体の内在次元性を関連付ける。
• LCCでサンプリングされた潜在ベクトルを用いて生成器を敵対的に訓練し、データの忠実性と多様性を向上させる。
• MS-SSIMと視覚的品質の比較を用いて、MNIST、Oxford-102、LSUN、CelebAの各データセットで評価を行う。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の潜在多様体からのLCCベースのサンプリングは、標準のガウス事前分布と比較して、GANの生成画像の品質と多様性を向上させることができるか？
• RQ2 潜在多様体の内在次元とGANの一般化性能の関係は何か？
• RQ3 LCCサンプリングを用いる場合、低次元の潜在空間（例：d=30）は、高次元の空間（例：d=100）と同等またはそれ以上の性能を達成できるか？
• RQ4 LCCサンプリングは、生成されたサンプルにおける局所的構造と意味的コンテンツを標準的なサンプリングと比較してどれほど効果的に保持するか？
• RQ5 提案手法は、訓練サンプルの記憶を避け、未観測データに対しても良好に一般化できるか？

主な発見

• MS-SSIMで測定した画像品質と多様性の観点から、すべてのデータセットでd=30のLCC-GANsがd=100のProgressive GANsを上回る。
• CelebAでは、d=30のLCC-GANsがMS-SSIM 0.305を達成し、d=100のProgressive GANs（0.308）とWGANs（0.324）を上回る。
• 固定されたアンカーポイントセットからのサンプリングでも、MNISTでは回転やスタイルが異なるシャープな数字を多様に生成する。
• 視覚的比較により、生成画像が訓練データセット内の実画像と意味的に類似していることが示され、記憶に依存するのではなく一般化していることが確認された。
• 理論的分析により、小さな次元の入力が、潜在多様体の内在次元に依存する一般化性能の上限があることから、良好な一般化に十分であることが証明された。
• LCCサンプリングにより、同じ花の形や顔の構造といった共通の特徴を保持しながら、色やスタイルを変化させた一貫した画像生成が可能となり、局所的構造の有効な活用が確認された。