[논문 리뷰] Regression with Conditional GAN

Karan Aggarwal, Matthieu Kirchmeyer외 3명|arXiv (Cornell University)|2019. 01. 01.

Gaussian Processes and Bayesian Inference참고 문헌 6인용 수 5

한 줄 요약

이 논문은 소규모 출력 차원을 가진 회귀 과제에 대해 조건부 생성 적대적 네트워크(CGAN)의 적용을 탐구하며, 실제 세계의 불확실성을 더 잘 반영하기 위해 입력 노이즈를 통합한 암묵적 확률 모델을 제안한다. 비록 CGAN이 전망을 보이지만, 연구에서는 기존의 방법들인 혼합 밀도 네트워크(MDN)와 XGBoost가 각각 로그우도와 평균 절대 오차 측면에서 CGAN을 능가함을 발견하여, CGAN이 회귀 과제에서 경쟁적인 훈련과 모델링 효율성을 확보하기 위해 더 많은 혁신이 필요하다는 것을 시사한다.

ABSTRACT

In recent years, impressive progress has been made in the design of implicit probabilistic models via Generative Adversarial Networks (GAN) and its extension, the Conditional GAN (CGAN). Excellent solutions have been demonstrated mostly in image processing applications which involve large, continuous output spaces. There is almost no application of these powerful tools to problems having small dimensional output spaces. Regression problems involving the inductive learning of a map, $y=f(x,z)$, $z$ denoting noise, $f:\mathbb{R}^n imes \mathbb{R}^k ightarrow \mathbb{R}^m$, with $m$ small (e.g., $m=1$ or just a few) is one good case in point. The standard approach to solve regression problems is to probabilistically model the output $y$ as the sum of a mean function $m(x)$ and a noise term $z$; it is also usual to take the noise to be a Gaussian. These are done for convenience sake so that the likelihood of observed data is expressible in closed form. In the real world, on the other hand, stochasticity of the output is usually caused by missing or noisy input variables. Such a real world situation is best represented using an implicit model in which an extra noise vector, $z$ is included with $x$ as input. CGAN is naturally suited to design such implicit models. This paper makes the first step in this direction and compares the existing regression methods with CGAN. We notice however, that the existing methods like mixture density networks (MDN) and XGBoost do quite well compared to CGAN in terms of likelihood and mean absolute error, respectively. Both these methods are comparatively easier to train than CGANs. CGANs need more innovation to have a comparable modeling and ease-of-training with respect to the existing regression solvers. In summary, for modeling uncertainty MDNs are better while XGBoost is better for the cases where accurate prediction is more important.

연구 동기 및 목표

• 소규모 출력 공간을 가진 회귀 문제(예: m=1 또는 소수의 출력)에 대해 조건부 GAN(CGAN)을 사용하는 가능성 탐구.
• 예측 성능와 훈련 용이성 측면에서 기존의 방법들인 혼합 밀도 네트워크(MDN)와 XGBoost와 비교하여 CGAN 기반의 회귀 성능 평가.
• 입력 노이즈 z를 통합하여 실제 세계의 확률적 성격(누락되거나 노이즈가 있는 입력으로 인한)을 반영함으로써, CGAN이 회귀에서 불확실성을 효과적으로 모델링할 수 있는지 평가.
• CGAN의 회귀 과제에서의 한계를 규명하고, 훈련 안정성과 모델 정확도 향상을 위한 향후 방향 제시.

제안 방법

• 논문은 회귀 문제를 조건부 생성 모델링 문제로 재정의한다: y = f(x, z), 여기서 x는 입력, z는 노이즈이며, f는 R^n × R^k에서 R^m으로 사상하는 함수로, 출력 차원 m이 작다.
• 생성자(generator)는 입력 x와 노이즈 z에 조건부로 출력 y를 생성하도록 학습하고, 판별자(discriminator)는 실제 y 샘플과 생성된 y 샘플을 구분하도록 설계된 CGAN 프레임워크를 사용한다.
• 생성자는 실제 데이터와 구분이 가지 않도록 생성되는 출력을 최적화함으로써, 암묵적으로 조건부 분포 p(y|x)를 모델링한다.
• 훈련 목표는 표준 CGAN의 최소최대 손실을 따르며, 생성자는 log(1 - D(G(x,z)))를 최소화하고, 판별자는 log(D(x,y)) + log(1 - D(x,G(x,z)))를 최대화한다.
• 이 방법은 표준 회귀 벤치마크에서 평가되며, 로그우도와 평균 절대 오차 등의 지표를 사용해 MDN과 XGBoost와의 성능을 비교한다.
• 이 접근법은 폐쇄형 로그우도 표현이 필요 없도록 암묵적 모델링을 통한 밀도 추정 문제로 회귀를 다룬다.

실험 결과

연구 질문

• RQ1 CGAN은 m=1 또는 m=2와 같은 소규모 출력 공간을 가진 회귀 과제를 효과적으로 모델링할 수 있는가?
• RQ2 로그우도 측면에서 CGAN 기반의 회귀는 기존의 혼합 밀도 네트워크(MDN)와 비교해 어떻게 성능을 내는가?
• RQ3 평균 절대 오차와 예측 정확도 측면에서 CGAN 기반의 회귀는 XGBoost와 비교해 어떻게 성능을 내는가?
• RQ4 특히 안정성과 수렴성 측면에서 CGAN을 회귀에 훈련시키는 데 있어 주요 과제는 무엇인가?
• RQ5 고정된 노이즈 분포를 가정하는 것 대신, 입력에 노이즈를 모델링함으로써 CGAN은 실제 세계의 불확실성을 더 잘 포착할 수 있는가?

주요 결과

• 혼합 밀도 네트워크(MDN)는 로그우도 측면에서 CGAN을 능가하여, MDN이 출력의 진정한 조건부 분포에 더 잘 맞는다는 것을 시사한다.
• XGBoost는 평균 절대 오차 측면에서 뛰어난 성능을 보이며, 이는 회귀 과제에서 정확한 점 예측에 더 효과적이라는 것을 의미한다.
• CGAN은 MDN과 XGBoost보다 더 많은 훈련 노력이 필요하고, 안정성이 떨어지는 경향이 있다. 이는 MDN과 XGBoost가 더 쉽게 훈련되고 안정적으로 수렴한다는 것을 의미한다.
• 암묵적 노이즈 주입을 통한 불확실성 모델링에 이론적으로 적합함에도 불구하고, 실질적으로 기존의 회귀 솔버보다 성능이 열등하다.
• 연구는 CGAN이 기존의 회귀 방법과 비슷한 모델링 품질과 훈련 효율성을 달성하기 위해 아키텍처와 훈련 절차의 추가 혁신이 필요하다고 결론 내린다.