[논문 리뷰] Generative Models and Model Criticism via Optimized Maximum Mean Discrepancy

Danica J. Sutherland, Hsiao-Yu Fish Tung외 5명|arXiv (Cornell University)|2016. 11. 14.

Generative Adversarial Networks and Image Synthesis인용 수 108

한 줄 요약

논문은 분포를 가장 잘 구분하도록 커널과 특징 맵을 선택하여 최대 평균 차이(MMD) 이분 검정의 검정력을 최적화하는 방법을 개발하고, 이를 GAN 평가, 모델 비판, 학습 기준에 적용한다.

ABSTRACT

We propose a method to optimize the representation and distinguishability of samples from two probability distributions, by maximizing the estimated power of a statistical test based on the maximum mean discrepancy (MMD). This optimized MMD is applied to the setting of unsupervised learning by generative adversarial networks (GAN), in which a model attempts to generate realistic samples, and a discriminator attempts to tell these apart from data samples. In this context, the MMD may be used in two roles: first, as a discriminator, either directly on the samples, or on features of the samples. Second, the MMD can be used to evaluate the performance of a generative model, by testing the model's samples against a reference data set. In the latter role, the optimized MMD is particularly helpful, as it gives an interpretable indication of how the model and data distributions differ, even in cases where individual model samples are not easily distinguished either by eye or by classifier.

연구 동기 및 목표

• 고차원 또는 구조화된 데이터에서 분포 유사성에 대한 MMD의 사용을 동기부여하고 형식화한다.
• 커널과 특징 표현을 조정하여 MMD 검정의 검정력을 극대화하는 절차를 개발한다.
• Permutation 기반 MMD 검정의 데이터 의존적 임계치를 효율적으로 제공한다.
• GAN 평가 및 모델 비판에 대한 접근법을 시연하고 분포 차이를 시각화한다.
• 생성 모델의 품질과 샘플 다양성을 개선하기 위한 MMD 기반 학습 기준을 제안한다.

제안 방법

• P와 Q 사이의 분포에 대해 U-통계 기반 추정치를 사용하여 MMD를 정의하고 추정한다.
• 검정력 표현식을 도출하고 검정력이 k-스탯 MMD_k^2(P,Q)/sqrt(V_m^{(k)}(P,Q))를 최대화함으로써 최대화됨을 보인다.
• 입력의 의미 있는 특징을 추출하는 z와 합성 k∘z에 대한 커널 탐색을 도입하고 실증적 t_k를 최대화하도록 z와 κ를 최적화한다.
• 분산 V_m(P,Q)에 대한 미분 가능 추정치를 제공하여 그래디언트 기반의 커널/특징 최적화를 가능하게 한다.
• 커널을 학습하는 동안 테스트의 타당성을 보존하기 위해 학습 데이터와 테스트 데이터를 분리한다(트레이닝 데이터에서 커널 선택; 최종 테스트는 테스트 데이터에서 수행).
• 분산 추정기 V̂_m(X,Y)의 효율적이고 미분 가능 표현과 이를 그래디언트 기반 최적화에서의 활용을 제안한다.

실험 결과

연구 질문

• RQ1 커널 및 특징 선택을 통해 커널 기반 이분 검정의 검정력을 어떻게 최적화할 수 있는가?
• RQ2 MMD 검정력 최적화가 MMD 지표의 단순 최대화보다 모델 샘플과 참조 데이터 간의 구별을 더 신뢰성 있게 만드는가?
• RQ3 최적화된 MMD를 이용해 생성 모델(GAN 등)의 평가·진단 및 학습 기준 향상에 활용할 수 있는가?
• RQ4 최적화된 MMD의 목격 함수(witness functions)를 시각화해 분포 차이를 진단할 수 있는가?
• RQ5 고차원에서의 Permutation 기반 MMD 임계값을 위한 효율적 구현은 무엇인가?

주요 결과

• 커널과 특징 맵 최적화를 통해 MMD 검정력을 최대화하면 단순히 MMD 통계치를 최대화하는 것보다 더 높은 검정력을 얻을 수 있다.
• 출력 차원에 대한 ARD 기반 커널은 검정이 최적화될 때 어느 좌표가 의미 있게 차이가 나는지 식별하는 데 도움을 준다.
• 최적화된 MMD로부터 얻은 목격 함수는 두 분포가 가장 크게 어떻게 다른지 보여 주어 해석 가능 진단을 가능하게 한다.
• 최적화된 MMD 기준은 GAN 변형(gmmn, t-gmmn, 특징 매칭 GAN 등)의 학습 목표로 사용되어 샘플 다양성을 개선하고 모드 붕괴를 줄일 수 있다.
• 영 효율적인 무작위치 검정은 임계값 계산을 크게 가속화하여 O(m^2)의 복잡도로 스펙트럴 방법(O(m^3))보다 큰 속도 향상을 제공한다.
• MNIST에 대한 실증 시연에서 최적화된 MMD 구분자는 모델과 데이터 분포 간의 미묘한 차이를 탐지하고, 학습된 특징 가중치가 모델이 벗어나는 위치(예: 이미지 경계 및 중앙의 수직선)를 드러낸다.