[論文レビュー] Random Matrix Theory Proves that Deep Learning Representations of GAN-data Behave as Gaussian Mixtures

Mohamed El Amine Seddik, Cosme Louart+2 more|arXiv (Cornell University)|Jan 21, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 20

ひとこと要約

この論文は、高次元における測度集中現象のため、生成対話ネットワーク（GAN）によって生成されたデータの深層学習表現が、漸近的にガウス・ミクスチャ・モデル（GMM）に従うことを示している。ランダム行列理論（RMT）を用いて、これらの表現からのグラム行列の固有値スペクトル的性質が、一次および二次のモーメントにのみ依存することを示しており、線形分類器がその挙動を完全に特徴づけることができることを示している。

ABSTRACT

This paper shows that deep learning (DL) representations of data produced by generative adversarial nets (GANs) are random vectors which fall within the class of so-called extit{concentrated} random vectors. Further exploiting the fact that Gram matrices, of the type $G = X^T X$ with $X=[x_1,\ldots,x_n]\in \mathbb{R}^{p imes n}$ and $x_i$ independent concentrated random vectors from a mixture model, behave asymptotically (as $n,p o \infty$) as if the $x_i$ were drawn from a Gaussian mixture, suggests that DL representations of GAN-data can be fully described by their first two statistical moments for a wide range of standard classifiers. Our theoretical findings are validated by generating images with the BigGAN model and across different popular deep representation networks.

研究の動機と目的

• 高次元設定における生成対話ネットワーク（GAN）データの深層学習表現の統計的挙動を理論的に特徴づけること。
• これらの表現から導出されるグラム行列の固有値スペクトル的性質が、漸近的条件下でガウス・ミクスチャ・モデル（GMM）によって記述可能かどうかを調査すること。
• 異なる深層ニューラルネットワークアーキテクチャおよびデータタイプ（実際のImageNet画像を含む）において、この挙動の普遍性を検証すること。
• 標準的な線形分類器の性能を記述するために、一次および二次のモーメントが十分であることを確立すること。

提案手法

• ランダム行列理論（RMT）を用いた理論的分析により、X が GAN によって生成されたデータの深層表現を含む G = X^T X の漸近的固有値分布を研究する。
• 測度集中現象を活用し、GAN データの深層学習表現を q-指数的集中ランダムベクトルとしてモデル化する。
• RMT における標本共分散行列の結果を応用し、データベクトルが集中していると仮定したもとで、G の極限固有値分布を導出する。
• 解析により、G の固有値分布および主要固有空間が、平均と分散が一致する GMM のそれらと漸近的に同等であることが示された。
• 理論的導出は、Stieltjes 変換およびリゾルベント技術に依拠しており、R(z) = z^{-1}(I - X^T Q(z) X / p) という恒等式を用いる。ここで Q(z) = (XX^T / p + zI_p)^{-1} である。
• ResNet50、VGG16、DenseNet201 の畳み込みニューラルネットワーク（CNN）特徴量を用いて、BigGAN が生成した画像に対して実験的検証を実施し、スペクトル的および固有空間的挙動を、同一の一次および二次モーメントを持つ GMM と比較した。

実験結果

リサーチクエスチョン

• RQ1 高次元極限において、GAN によって生成されたデータの深層学習表現は、ガウス・ミクスチャ・モデル（GMM）と同等のスペクトル的挙動を示すか？
• RQ2 表現の一次および二次統計的モーメント（平均と共分散）が、GAN データにおける線形分類器の性能をどの程度完全に特徴づけることができるか？
• RQ3 実際の ImageNet 画像からのグラム行列の漸近的スペクトル的挙動は、同一のモーメントを持つ GMM と一致するか？ これにより、普遍性が示唆されるか？
• RQ4 ランダム行列理論（RMT）は、GAN らしい複雑な生成モデルから得られる深層表現のスペクトル的性質を正確に予測できるか？
• RQ5 測度集中現象が、深層表現における GMM に類似した挙動の普遍性を可能にする役割は何か？

主な発見

• 深層学習表現は、ニューラルネットワークのリプシッツ性に基づき、q-指数的集中ランダムベクトルとして特徴づけられる。
• 漸近的状態（n, p → ∞ かつ p/n → c < ∞）において、これらの表現のグラム行列 G = X^T X の固有値分布は、平均と分散が一致する GMM のそれと収束する。
• GAN の表現上で計算された G の主要固有空間は、同一の一次および二次モーメントを持つ GMM のそれと漸近的に同等である。
• BigGAN が生成した画像および実際の ImageNet 画像に対する実験的結果から、CNN 特徴量のグラム行列のスペクトルおよび主要固有空間が、同一のモーメントを持つ GMM と密接に一致することが示された。
• 線形分類器に関しては、深層表現の一次および二次モーメントが性能を予測するために十分であることが確認され、濃度を満たすあらゆるデータ分布に対して普遍的挙動が成立することが示唆された。
• RMT に基づく理論的枠組みは、複雑な深層表現における標準的な機械学習アルゴリズム（例：スペクトルクラスタリング、LS-SVM）の挙動を正確に予測でき、実用的意義を裏付けた。