[논문 리뷰] Adversarial Regression. Generative Adversarial Networks for Non-Linear Regression: Theory and Assessment

Yoann Boget|arXiv (Cornell University)|2019. 10. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 4

한 줄 요약

이 논문은 비선형 회귀에서 예측 밀도 분포를 추정하고 불확실성 정량화를 가능하게 하기 위해 생성적 적대적 네트워크(GANs)를 사용한 적대적 회귀를 제안한다. GAN 기반 모델이 비선형 조건부 밀도를 고차원 공간에서도 효과적으로 근사할 수 있음을 입증하였으며, 성능은 하이퍼파rameter 조정과 GAN 아키텍처 선택에 매우 민감하다.

ABSTRACT

Adversarial Regression is a proposition to perform high dimensional non-linear regression with uncertainty estimation. We used Conditional Generative Adversarial Network to obtain an estimate of the full predictive distribution for a new observation. Generative Adversarial Networks (GAN) are implicit generative models which produce samples from a distribution approximating the distribution of the data. The conditional version of it (CGAN) takes the following expression: $\min\limits_G \max\limits_D V(D, G) = \mathbb{E}_{x\sim p_{r}(x)} [log(D(x, y))] + \mathbb{E}_{z\sim p_{z}(z)} [log (1-D(G(z, y)))]$. An approximate solution can be found by training simultaneously two neural networks to model D and G and feeding G with a random noise vector $z$. After training, we have that $G(z, y)\mathrel{\dot\sim} p_{data}(x, y)$. By fixing $y$, we have $G(z|y) \mathrel{\dot\sim} p{data}(x|y)$. By sampling $z$, we can therefore obtain samples following approximately $p(x|y)$, which is the predictive distribution of $x$ for a new $y$. We ran experiments to test various loss functions, data distributions, sample size, size of the noise vector, etc. Even if we observed differences, no experiment outperformed consistently the others. The quality of CGAN for regression relies on fine-tuning a range of hyperparameters. In a broader view, the results show that CGANs are very promising methods to perform uncertainty estimation for high dimensional non-linear regression.

연구 동기 및 목표

• 점 추정이 아닌 전체 예측 밀도 분포를 추정하는 비선형 회귀를 위한 새로운 방법을 개발하고 평가하는 것.
• 기존의 회귀 방법이 비선형 및 고차원 설정에서 예측 불확실성을 포착하는 데 한계가 있음을 해결하는 것.
• 다양한 GAN 변종(WGAN, SGAN, RSGAN 등)이 회귀 작업의 조건부 밀도 근사에 어떻게 영향을 미치는지 평가하는 것.
• 노이즈 차원, 배치 크기, 샘플 크기와 같은 하이퍼파rameter가 GAN 학습 안정성과 회귀 정확도에 미치는 영향을 조사하는 것.
• 저차원 합성 예제를 넘어서 고차원 입력 및 출력 공간에서 적대적 회귀의 가능성을 탐색하는 것.

제안 방법

• 적대적 회귀는 생성자(generator)가 노이즈 벡터와 입력 특징을 조합하여 예측 출력 분포를 생성하는 조건부 GAN 설정으로 공식화된다.
• 생성자는 판별자(discriminator)가 실제 데이터와 생성된 데이터를 구분하지 못하도록 학습되며, 판별자는 실제 샘플과 생성된 샘플을 구분하도록 학습된다.
• 조건부 GAN은 출력 분포가 입력 특징에 의존하도록 강제하여 조건부 밀도 추정을 가능하게 한다.
• 표준 GAN 손실, WGAN, RSGAN 등의 손실 함수를 평가하여 학습 안정성과 밀도 근사 품질에 미치는 영향을 분석한다.
• 백프로파게이션과 경사하강법을 사용하여 생성자와 판별자를 번갈아 최적화하는 방식으로 학습이 진행되며, 생성자는 판별자의 실제와 가짜 샘플을 구분하는 능력을 최소화하도록 목표로 한다.
• 평가 지표로는 코모고로프-스미르노프(KS) 거리, 쿨백-라이블러(KL) 발산, 젠슨-쇼넬리지(JS) 발산, 측도의 분산을 사용하여 분포 유사도를 정량화한다.

실험 결과

연구 질문

• RQ1 GAN이 비선형 조건부 밀도 함수를 비선형 회귀 작업에서 효과적으로 학습하고 근사할 수 있는가?
• RQ2 WGAN, RSGAN, SGAN 등의 다양한 GAN 변종이 회귀 작업에서 밀도 정확도와 학습 안정성 측면에서 어떻게 상호 비교되는가?
• RQ3 노이즈 차원, 배치 크기, 학습 샘플 크기와 같은 하이퍼파rameter가 예측 밀도 추정 품질에 어떻게 영향을 미치는가?
• RQ4 저차원 합성 예제를 넘어서 고차원 입력 및 출력 공간에서 적대적 회귀가 일반화 가능한가?
• RQ5 伝통적 점 추정 방법에 비해 적대적 회귀가 의미 있는 불확실성 정량화를 제공할 수 있는 정도는 어느 정도인가?

주요 결과

• GAN 기반의 적대적 회귀는 오차 분포가 비정규 또는 이방성인 경우조차도 비선형 회귀 작업에서 진짜 예측 밀도를 효과적으로 근사한다.
• 선형 및 비선형 케이스 모두에서 생성된 분포와 진짜 분포 간의 밀도가 근사적으로 일치함을 통해 새로운 입력에 대한 정확한 밀도 추정이 가능함을 입증하였다.
• 학습 안정성과 성능은 하이퍼파rameter 선택에 매우 민감하며, 실험 전반에서 유일한 GAN 변종이 항상 우월한 성능을 내는 것은 아니다.
• 더 큰 샘플 크기와 최적의 노이즈 차원으로 갈수록 근사 품질이 향상되지만, 학습 런 간에 상당한 변동성이 있음이 확인되었다.
• 고차원 공간(예: 5차원 입력)에서의 탐색적 실험 결과, 적대적 회귀는 저차원 사례를 넘어서 일반화 가능함을 보였지만, 추가적인 튜닝이 필요함을 확인하였다.
• 불안정성에도 불구하고 여러 GAN 아키텍처가 유망한 결과를 도출함으로써, 고차원 비선형 회귀에서 전체 불확실성 정량화를 포함한 적대적 회귀의 강력한 잠재력을 시사한다.