[논문 리뷰] Random Matrix Theory Proves that Deep Learning Representations of GAN-data Behave as Gaussian Mixtures

Mohamed El Amine Seddik, Cosme Louart외 2명|arXiv (Cornell University)|2020. 01. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 20

한 줄 요약

이 논문은 고차원에서 GAN에 의해 생성된 데이터의 딥러닝 표현이 측도 집중 현상 덕분에 渐近적으로 가우시안 혼합 모델(GMM)처럼 행동함을 보여준다. 랜덤 행렬 이론(RMT)을 사용하여, 이러한 표현에서 유도된 그램 행렬의 스펙트럼 성질이 첫 번째 및 두 번째 모멘트에만 의존함을 밝혀내며, 이는 선형 분류기가 이러한 표현의 행동을 완전히 특징지울 수 있음을 시사한다.

ABSTRACT

This paper shows that deep learning (DL) representations of data produced by generative adversarial nets (GANs) are random vectors which fall within the class of so-called extit{concentrated} random vectors. Further exploiting the fact that Gram matrices, of the type $G = X^T X$ with $X=[x_1,\ldots,x_n]\in \mathbb{R}^{p imes n}$ and $x_i$ independent concentrated random vectors from a mixture model, behave asymptotically (as $n,p o \infty$) as if the $x_i$ were drawn from a Gaussian mixture, suggests that DL representations of GAN-data can be fully described by their first two statistical moments for a wide range of standard classifiers. Our theoretical findings are validated by generating images with the BigGAN model and across different popular deep representation networks.

연구 동기 및 목표

• 고차원 설정에서 GAN에 의해 생성된 데이터의 딥러닝 표현의 통계적 행동을 이론적으로 특징짓는 것.
• 이러한 표현에서 유도된 그램 행렬의 스펙트럼 성질이 渐近 조건 하에서 가우시안 혼합 모델(GMM)으로 기술될 수 있는지 조사하는 것.
• 실제 ImageNet 이미지 포함 다양한 딥 네트워크 아키텍처와 데이터 유형에 걸쳐 이러한 행동이 보편적인지 검증하는 것.
• 표준 선형 분류기의 성능을 기술하는 데 첫 번째 및 두 번째 모멘트만으로도 충분하다는 것을 확립하는 것.

제안 방법

• 딥러닝 표현이 GAN에 의해 생성된 데이터를 포함하는 X에 대해 G = X^T X인 그램 행렬의 渐近 스펙트럼 분포를 연구하기 위해 랜덤 행렬 이론(RMT)을 이론적으로 분석하는 것.
• 측도 집중 현상에 기반하여, 딥러닝 표현을 q-지수적으로 집중된 랜덤 벡터로 모델링하는 것.
• 표본 공분산 행렬에 대한 RMT 결과를 적용하여, 데이터 벡터가 집중된 가정 하에 G의 극한 스펙트럼 분포를 도출하는 것.
• 분석 결과, G의 고유값 분포 및 주요 고유공간은 동일한 평균과 공분산을 가진 GMM의 것과 渐近적으로 동일한 것으로 나타났다.
• 이론적 유도는 스텔리지 변환 및 리졸베이트 기법을 사용하며, R(z) = z^{-1}(I - X^T Q(z) X / p) 식을 활용한다. 여기서 Q(z) = (XX^T / p + zI_p)^{-1}이다.
• ResNet50, VGG16, DenseNet201의 CNN 특징을 사용하여 BigGAN에서 생성된 이미지에 대해 실증적 검증을 수행하였으며, 동일한 첫 번째 및 두 번째 모멘트를 가진 GMM과 비교하여 스펙트럼 및 고유공간 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 고차원 극한에서 GAN에 의해 생성된 데이터의 딥러닝 표현은 스펙트럼 행동 측면에서 가우시안 혼합 모델(GMM)과 동일한가?
• RQ2 표현의 첫 번째 및 두 번째 통계 모멘트(평균 및 공분산)가 GAN 데이터에서 선형 분류기 성능을 얼마나 잘 특징짓는가?
• RQ3 실제 ImageNet 이미지에서 유도된 그램 행렬의 渐진 스펙트럼 행동은 동일한 모멘트를 가진 GMM과 일치하는가? 이는 보편성의 가능성을 시사하는가?
• RQ4 랜덤 행렬 이론(RMT)은 GAN과 같은 복잡한 생성 모델에서 유도된 딥 표현의 스펙트럼 성질을 정확하게 예측할 수 있는가?
• RQ5 측도 집중 현상은 딥 표현에서 GMM 유사 행동의 보편성을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 딥러닝 표현은 신경망 사상의 리프시츠 성질 덕분에 q-지수적으로 집중된 랜덤 벡터이다.
• 비례 상수 c < ∞를 만족하는 n, p → ∞의 渐진적 영역에서, GAN 생성 데이터의 표현에 대해 G = X^T X인 그램 행렬의 스펙트럼 분포는 동일한 평균과 공분산을 가진 GMM의 것으로 수렴한다.
• GAN 표현에서 계산된 G의 주요 고유공간은 동일한 첫 번째 및 두 번째 모멘트를 가진 GMM의 것과 渐진적으로 동일하다.
• BigGAN에서 생성된 이미지와 실제 ImageNet 이미지에 대한 실증 결과는 CNN 특징의 그램 행렬 스펙트럼 및 주요 고유공간이 동일한 모멘트를 가진 GMM과 매우 유사함을 보여주었다.
• 이 연구는 선형 분류기의 경우, 딥 표현의 첫 번째 및 두 번째 모멘트만으로도 성능을 예측할 수 있음을 확인하였으며, 이는 농도 조건을 만족하는 모든 데이터 분포에 대해 보편적인 행동을 의미한다.
• RMT 기반 이론적 프레임워크는 복잡한 딥 표현에서 표준 기계학습 알고리즘(예: 스펙트럼 클러스터링, LS-SVM)의 행동을 성공적으로 예측하여 실용적 관련성을 입증하였다.