[논문 리뷰] Pareto GAN: Extending the Representational Power of GANs to Heavy-Tailed Distributions

Todd Huster, Jérémy E. Cohen외 6명|arXiv (Cornell University)|2021. 01. 22.

Machine Learning in Healthcare인용 수 5

한 줄 요약

Pareto GAN은 극단가치이론을 활용하여 생성기의 꼬리에 일반화된 파레토 분포(GPD) 꼬리를 강제 적용함으로써 기존 GAN을 꼬리가 두꺼운 분포로 확장한다. 안정적인 루트-Euclidean 에너지 거리 손실 함수를 사용하여 신뢰할 수 있는 훈련을 가능하게 하며, 표준 GAN에 비해 더 뛰어난 꼬리 매칭과 다양체 충실도를 달성한다. 합성 꼬리가 두꺼운 데이터에서 평균 면적 지표는 28, 평균 로그 MDist는 7.7을 기록한다.

ABSTRACT

Generative adversarial networks (GANs) are often billed as "universal distribution learners", but precisely what distributions they can represent and learn is still an open question. Heavy-tailed distributions are prevalent in many different domains such as financial risk-assessment, physics, and epidemiology. We observe that existing GAN architectures do a poor job of matching the asymptotic behavior of heavy-tailed distributions, a problem that we show stems from their construction. Additionally, when faced with the infinite moments and large distances between outlier points that are characteristic of heavy-tailed distributions, common loss functions produce unstable or near-zero gradients. We address these problems with the Pareto GAN. A Pareto GAN leverages extreme value theory and the functional properties of neural networks to learn a distribution that matches the asymptotic behavior of the marginal distributions of the features. We identify issues with standard loss functions and propose the use of alternative metric spaces that enable stable and efficient learning. Finally, we evaluate our proposed approach on a variety of heavy-tailed datasets.

연구 동기 및 목표

• 표준 GAN이 꼬리가 두꺼운 분포, 특히 꼬리 부분에서 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 와서르슈타인 및 에너지 거리와 같은 일반적인 GAN 손실 함수가 꼬리가 두꺼운 데이터에 적용되었을 때 안정성 없거나 무한대가 되는 이유를 규명하기 위해.
• 일반화된 파레토 분포(GPD)를 사용하여 파wer-law 꼬리 행동을 명시적으로 모델링할 수 있는 생성기 아키텍처를 설계하기 위해.
• 꼬리가 두꺼운 데이터에서 훈련하기에 적합한 안정적이고 유한한 기울기 기반 손실 함수를 개발하기 위해.
• Pareto GAN이 이질적인 마진 꼬리 지수를 가진 다변량 분포를 효과적으로 학습할 수 있는지 검증하기 위해.

제안 방법

• 생성기는 꼬리가 두꺼운 코시 분포에서 추출한 노이즈 벡터를 사용하고, 학습 가능한 꼬리 지수를 사용하여 요소별 거듭제곱 변환을 적용하여 원하는 GPD 유사 꼬리 성질을 가진 출력을 생성한다.
• 생성기는 루트-Euclidean 에너지 거리(root-ED) 손실 함수를 사용하여 훈련되며, 이는 표준 에너지 거리 값이 무한대일 경우에도 기대값이 유한하고 기울기가 안정되도록 보장한다.
• 입력 노이즈의 꼬리 지수는 극단가치이론을 통해 추정되며, 특히 고임계 이상의 조건부 초과 분포를 모델링하기 위해 일반화된 파레토 분포를 사용한다.
• 손실 함수는 분포가 더 잘 행동하는 변환된 메트릭 공간에서 평가되며, 꼬리가 두꺼운 데이터에서 무한한 모멘트가 존재하더라도 안정적인 최적화를 가능하게 한다.
• 모델은 4개의 완전히 연결된 레이어와 각 레이어당 256개의 뉴런을 가진 다층퍼셉트론 생성기로 구성되며, 200차원의 노이즈 입력을 사용해 10,000개의 샘플로 훈련된다.
• 다양체 거리 평가에 투영 기반의 다양체 거리 메트릭이 사용되며, 이는 거듭제곱 변환의 역함수를 통해 계산되고 선형 부분공간에 투영된다.

실험 결과

연구 질문

• RQ1 표준 GAN은 꼬리가 두꺼운 분포에서 극단치로의 외삽을 효과적으로 수행할 수 있는가, 아니면 훈련 데이터를 초월해 일반화하지 못하는가?
• RQ2 왜 와서르슈타인 및 에너지 거리와 같은 일반적인 GAN 손실 함수는 꼬리가 두꺼운 데이터에서 무한한 모멘트를 가질 경우 실패하는가?
• RQ3 극단가치이론을 활용하여 꼬리가 두꺼운 분포의 渐近 꼬리 행동을 명시적으로 모델링할 수 있는 GAN을 설계할 수 있는가?
• RQ4 루트-Euclidean 에너지 거리와 같은 안정적이고 기울기가 유한한 손실 함수를 사용하면, 표준 손실 함수가 실패하는 꼬리가 두꺼운 데이터에서 효과적인 훈련이 가능한가?
• RQ5 Pareto GAN은 이질적인 마진 꼬리 지수를 가진 다변량 분포로 일반화할 수 있는가?

주요 결과

• 루트-ED Pareto GAN은 평균 면적 지표 28을 기록하여 표준 에너지 거리 Pareto GAN(197)과 정규 GAN(132)을 크게 앞서며, 더 뛰어난 꼬리 매칭 성능을 보였다.
• 루트-ED Pareto GAN은 평균 로그 MDist 7.7을 기록하여, 다른 변종(예: 로그노멀 GAN, 35.7)에 비해 생성 샘플이 진짜 데이터 다양체에 훨씬 더 가까이 위치함을 나타내었다.
• 표준 에너지 거리 Pareto GAN은 불안정한 기울기로 인해 적절한 꼬리 행동을 학습하지 못했으며, 생성기의 능력에도 불구하고 종종 유한한 마진을 생성했다.
• 루트-ED 손실 함수는 안정적인 훈련과 양면 꼬리가 두꺼운 꼬리의 효과적인 학습을 가능하게 하여, 꼬리가 두꺼운 데이터에서 표준 에너지 거리의 본질적 불안정성 문제를 해결했다.
• 이 방법은 서로 다른 마진 꼬리 지수를 가진 다변량 분포를 성공적으로 모델링하여, 이질적인 꼬리 행동을 모델링하는 데서의 유연성을 입증했다.
• 100만 개의 평가 샘플을 사용한 합성 데이터 실험에서 세 개의 서로 다른 랜덤 시드에서 일관된 성능을 보이며, 강건성과 재현 가능성을 검증했다.