[論文レビュー] Global versus Localized Generative Adversarial Nets

Guo-Jun Qi, Liheng Zhang+4 more|arXiv (Cornell University)|Nov 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 4被引用数 3

ひとこと要約

本論文は、局所座標チャートを用いてデータ多様体をモデル化する、局所的生成対抗ネットワーク（LGAN）を提案する。これにより、局所幾何構造への直接的なアクセスが可能となり、接ベクトルに対する正規直交制約によってモード崩壊を緩和する。LGANは、画像生成および半教師あり分類において最先端の性能を達成し、4,000個のラベル付き例を用いたCIFAR-10では9.77%の誤差率を達成した。

ABSTRACT

In this paper, we present a novel localized Generative Adversarial Net (GAN) to learn on the manifold of real data. Compared with the classic GAN that {\em globally} parameterizes a manifold, the Localized GAN (LGAN) uses local coordinate charts to parameterize distinct local geometry of how data points can transform at different locations on the manifold. Specifically, around each point there exists a {\em local} generator that can produce data following diverse patterns of transformations on the manifold. The locality nature of LGAN enables local generators to adapt to and directly access the local geometry without need to invert the generator in a global GAN. Furthermore, it can prevent the manifold from being locally collapsed to a dimensionally deficient tangent subspace by imposing an orthonormality prior between tangents. This provides a geometric approach to alleviating mode collapse at least locally on the manifold by imposing independence between data transformations in different tangent directions. We will also demonstrate the LGAN can be applied to train a robust classifier that prefers locally consistent classification decisions on the manifold, and the resultant regularizer is closely related with the Laplace-Beltrami operator. Our experiments show that the proposed LGANs can not only produce diverse image transformations, but also deliver superior classification performances.

研究の動機と目的

• 複雑で非線形なデータ多様体、特に多様な局所的変換を伴うものに対するグローバルGANの限界を解消すること。
• 生成器ネットワークの逆算を必要とせずに、接ベクトルや曲率といった局所幾何的性質への直接的なアクセスを可能にすること。
• 接ベクトルに対する正規直交制約を課すことにより、局所的多様体崩壊を防止し、フル次元の変動を維持すること。
• ラプラス＝ベルトラミ・作用素に関連する幾何的事前分布に基づく正則化を施した、局所的に一貫性のある分類器を構築すること。グラフベースの近似に依存しない。
• 画像生成および半教師あり分類の両タスクにおいて、優れた性能を示すこと。

提案手法

• LGANは、個々のデータポイント $\mathbf{x}$ を中心とする局所座標チャートによってパrameter化された局所的生成器 $G(\mathbf{x}, \mathbf{z})$ を採用し、データ変換の局所的モデリングを可能にする。
• 各局所的生成器は、データ多様体上の点の近傍で動作し、重複領域で重なり合う部分を滑らかに接続できる。
• 局所的生成器のヤコビ行列に正規直交制約を課すことで、接ベクトルがフル次元空間を張ることを保証し、局所次元不足を防ぐ。
• 生成器を逆算する必要を回避するため、各データポイントをその局所的生成器に直接関連付けることで、点レベルでの幾何的解析を直接可能にする。
• 正規直交制約から導かれる局所幾何的正則化項は、グラフベースの多様体近似を必要とせずに、ラプラス＝ベルトラミ作用素に基づく正則化と数学的に同等であることが示された。
• 本フレームワークは、多様体接方向の摂動に対して頑健な、局所的に一貫性のある分類器の学習を可能とし、CIFAR-10およびCIFAR-100で性能が検証された。

実験結果

リサーチクエスチョン

• RQ1 局所座標チャートは、複雑なデータ多様体をモデリングするためのグローバルパラメータ化の代替として、より効果的かつ幾何的に一貫性を持つものとなるか？
• RQ2 生成器ネットワークの逆算を必要とせずに、接ベクトルや曲率といった局所幾何的性質をどのように直接アクセスできるか？
• RQ3 局所接ベクトルに正規直交制約を課すことで、局所的多様体崩壊がどの程度防止され、モード多様性が向上するか？
• RQ4 正規直交制約から導かれる幾何的正則化項を用いて、多様体に沿った摂動に対して頑健な分類器を学習できるか？
• RQ5 提案されたLGANフレームワークは、画像生成および半教師あり分類の両方で最先端の性能を達成するか？

主な発見

• LGANは、CIFAR-10で4,000個のラベル付き例を用いた場合、9.77%のテスト誤差を達成し、VAT や Pi-Model といった先行研究を上回った。
• CIFAR-100で10,000個のラベル付き例を用いた場合、LGANは35.52%のテスト誤差を達成し、比較されたすべての半教師あり学習ベースラインを上回った。
• 局所接ベクトルに対する正規直交制約は、異なる方向に沿ったフル次元のデータ変動を保持する形で、局所的多様体崩壊を効果的に防止した。
• LGANにおける局所幾何的正則化項は、数学的にラプラス＝ベルトラミ作用素に基づく正則化と同等であるが、多様体のグラフベース近似に依存しない形で導出された。
• 本手法は、生成器ネットワークの逆算を必要とせずに、接ベクトルや曲率といった局所幾何的特徴への直接アクセスを可能にした。
• LGANは、下位の多様体構造に整合した多様な画像変換を生成し、サンプルの多様性と品質の両方を向上させた。