[論文レビュー] Universality Theorems for Generative Models

Valentin Khrulkov, Ivan Oseledets|arXiv (Cornell University)|May 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 5

ひとこと要約

この論文は、やや厳しい活性化関数の制約を満たす前向き型ニューラルネットワークが、任意のホフスドルフ距離内で任意のコンパクトで連結なデータ多様体を近似できることを証明することで、生成モデルの理論的普遍性を確立している。さらに、同じ次元をもつ任意の2つの多様体に対して、互いに近似的に逆写像をとる2つのニューラルネットワークを学習可能であり、これによりサイクル整合性のある生成が可能であることを示している。

ABSTRACT

Despite the fact that generative models are extremely successful in practice, the theory underlying this phenomenon is only starting to catch up with practice. In this work we address the question of the universality of generative models: is it true that neural networks can approximate any data manifold arbitrarily well? We provide a positive answer to this question and show that under mild assumptions on the activation function one can always find a feedforward neural network that maps the latent space onto a set located within the specified Hausdorff distance from the desired data manifold. We also prove similar theorems for the case of multiclass generative models and cycle generative models, trained to map samples from one manifold to another and vice versa.

研究の動機と目的

• データ多様体の文脈において、生成モデルの普遍的近似能力の理論的基盤を確立すること。
• 活性化関数にやや厳しい制約を課した場合でも、ニューラルネットワークが指定されたホフスドルフ距離内ですべてのコンパクトで連結な多様体を近似可能かどうかを調査すること。
• 互いに不連続な多様体からなるマルチクラスデータセットへの普遍性の拡張と、双方向写像を学習するサイクル生成モデルへの適用を検討すること。
• 任意の同じ次元をもつ2つの多様体に対して、それぞれが互いに近似的に逆写像をとるニューラルネットワークの存在を示すこと。
• 深層生成モデルの表現力の理解に役立つ、幾何学的かつ数学的に厳密なフレームワークを提供すること。

提案手法

• ホフスドルフ距離を用いて、ニューラルネットワークが潜在多様体の像とターゲットのデータ多様体との間の近さを定量化する。
• サブセット上で定義された微分同相写像を、全体の周囲空間へ滑らかに拡張するために、ホイットニー拡張定理を適用する。
• ホルニク（1991）の普遍的近似定理を用い、コンパクト集合上で滑らかな関数を前向き型ニューラルネットワークで近似する。
• 前方および逆方向の両方の誤差を制御しながら、1つの多様体のコンパクト部分集合を別の多様体へ写像するニューラルネットワークを構築する。
• リーマン幾何学と位相的道具を用いて、任意の与えられた多様体に対して、全測度をもつ微分同相写像の部分集合が存在することを保証する。
• ネットワーク近似の合成を用いて、逆写像における誤差を抑え、近似的な可逆性を証明する。

実験結果

リサーチクエスチョン

• RQ1 前向き型ニューラルネットワークは、任意のコンパクトで連結なデータ多様体を、任意のホフスドルフ距離内に近似可能か？
• RQ2 生成モデルの普遍性は、複数の不連続な多様体からなるマルチクラスデータセットに対しても拡張可能か？
• RQ3 2つのニューラルネットワークを構築し、それぞれが互いに近似的に逆写像をとるようにできるか。これによりサイクル整合性のある生成が可能か？
• RQ4 普遍性の結果は滑らかさに依存するのか。それとも、滑らかでない位相多様体に対しても成り立つか？
• RQ5 多様体の幾何学的または位相的性質のうち、必要なニューラルネットワークアーキテクチャの複雑さに影響を与えるものは何か？

主な発見

• 任意のコンパクトで連結で滑らかな多様体と任意の ε > 0 に対して、潜在空間へ写像する前向き型ニューラルネットワークが存在し、その像とターゲット多様体とのホフスドルフ距離が ε より小さくなる。
• 多様体が滑らかでなくても（すなわち、位相的多様体であっても）、活性化関数が非定数で有界かつ連続であれば、この結果は成り立つ。
• 任意の2つの同じ次元をもつコンパクトで連結な多様体に対して、ニューラルネットワーク fθ と gφ が存在し、fθ が最初の多様体の全測度部分集合を、2番目の多様体の全測度部分集合へ ε-近傍に写像し、逆に gφ も同様に写像可能である。
• 合成写像 fθ ∘ gφ は、最初の多様体上で O(ε) の誤差で恒等写像を近似し、同様に gφ ∘ fθ は2番目の多様体上で O(ε) の誤差で恒等写像を近似する。この定数は多様体にのみ依存する。
• この構成は、多様体の全測度部分集合間の微分同相写像を、全体の周囲空間へ拡張し、それをニューラルネットワークで近似することで成り立つ。
• 理論的フレームワークは、サイクル GAN の経験的成功を説明しており、このようなモデルが、原則として任意の同じ次元をもつ多様体間の双方向写像を学習可能であることを示唆している。