[논문 리뷰] Conditional Generative Adversarial Networks for Regression

Karan Aggarwal, Matthieu Kirchmeyer외 3명|arXiv (Cornell University)|2019. 05. 30.

Gaussian Processes and Bayesian Inference참고 문헌 8인용 수 8

한 줄 요약

이 논문은 저차원 출력을 가진 회귀 과제에 대해 조건부 생성 적대적 네트워크(CGANs)를 탐색하며, 실제 세계의 불확실성을 더 잘 반영하기 위해 입력 노이즈를 포함하는 암묵적 확률 모델을 제안한다. 비록 CGANs가 전망을 보이지만, 로그우도 측면에선 혼합 밀도 네트워크(MDNs)보다 열등하고, 평균 절대 오차(MAE) 측면에선 XGBoost보다 열등하여, 실용적인 회귀 사용을 위해 CGANs는 향후 혁신이 더 필요함을 시사한다.

ABSTRACT

In recent years, impressive progress has been made in the design of implicit probabilistic models via Generative Adversarial Networks (GAN) and its extension, the Conditional GAN (CGAN). Excellent solutions have been demonstrated mostly in image processing applications which involve large, continuous output spaces. There is almost no application of these powerful tools to problems having small dimensional output spaces. Regression problems involving the inductive learning of a map, $y=f(x,z)$, $z$ denoting noise, $f:\mathbb{R}^n imes \mathbb{R}^k ightarrow \mathbb{R}^m$, with $m$ small (e.g., $m=1$ or just a few) is one good case in point. The standard approach to solve regression problems is to probabilistically model the output $y$ as the sum of a mean function $m(x)$ and a noise term $z$; it is also usual to take the noise to be a Gaussian. These are done for convenience sake so that the likelihood of observed data is expressible in closed form. In the real world, on the other hand, stochasticity of the output is usually caused by missing or noisy input variables. Such a real world situation is best represented using an implicit model in which an extra noise vector, $z$ is included with $x$ as input. CGAN is naturally suited to design such implicit models. This paper makes the first step in this direction and compares the existing regression methods with CGAN. We notice however, that the existing methods like mixture density networks (MDN) and XGBoost do quite well compared to CGAN in terms of likelihood and mean absolute error, respectively. Both these methods are comparatively easier to train than CGANs. CGANs need more innovation to have a comparable modeling and ease-of-training with respect to the existing regression solvers. In summary, for modeling uncertainty MDNs are better while XGBoost is better for the cases where accurate prediction is more important.

연구 동기 및 목표

• 소규모 출력 차원(예: m=1 또는 몇 개의 값)을 가진 회귀 문제에 조건부 GANs(CGANs)의 적용을 조사하기 위해.
• 입력 노이즈 z를 사용한 암묵적 생성 접근 방식을 통해 CGANs가 회귀의 불확실성을 효과적으로 모델링할 수 있는지 평가하기 위해.
• 로그우도 및 예측 정확도 측면에서 기존의 회귀 방법, 예를 들어 혼합 밀도 네트워크(MDNs)와 XGBoost와의 비교를 통해 CGANs의 성능을 평가하기 위해.
• CGANs를 회귀에 적용할 때의 훈련 과제를 규명하고, 기존의 더 단순한 모델들에 비해 실용성 여부를 평가하기 위해.

제안 방법

• 입력 x와 노이즈 z에 조건부로 출력 y = f(x, z)를 생성하는 조건부 생성 모델로 회귀 문제를 설정하며, f는 R^n × R^k → R^m를 맵핑하는 함수로, m이 작다.
• CGAN 아키텍처를 사용해 p(y|x)의 조건부 분포를 암묵적으로 학습하며, 명시적 로그우도 계산을 피한다.
• 입력 x와 임의의 노이즈 z에 조건부로 출력을 생성하는 생성자 네트워크와, 실제 샘플과 생성된 샘플을 구분하는 판별자 네트워크를 사용한다.
• 생성자와 판별자를 적대적으로 훈련하여, 생성 품질과 분포 일치도를 동시에 최적화한다.
• 출력 공간이 저차원인 회귀 과제에 모델을 적용하며, 전통적인 파라미터 모델과 대비한다.
• 표준 평가 지표를 사용: 불확실성 모델링에 대해 로그우도, 예측 정확도에 대해 평균 절대 오차(MAE)

실험 결과

연구 질문

• RQ1 CGANs는 소규모 출력 차원(예: m=1)을 가진 회귀 과제를 효과적으로 모델링할 수 있는가?
• RQ2 CGANs의 성능은 로그우도 측면에서 MDNs에 비해 어떻게 다른가? 즉, 출력 불확실성을 어떻게 모델링하는가?
• RQ3 CGANs의 성능은 예측 정확도(MAE) 측면에서 XGBoost에 비해 어떻게 다른가?
• RQ4 MDNs나 XGBoost와 비교했을 때, CGANs를 회귀에 적용할 때의 훈련 과제와 실용적 제약은 무엇인가?
• RQ5 노이즈가 있거나 누락된 입력이 있는 실제 회귀 과제에서, CGANs의 암묵적 모델링 접근 방식이 명시적 로그우도 모델보다 더 적합한가?

주요 결과

• CGANs는 입력 노이즈 z를 통합함으로써 실제 세계의 확률적 특성을 반영하기 때문에, 불확실성 모델링에 이론적으로 매우 적합하다.
• 이론적 이점에도 불구하고, 로그우도 측면에서 MDNs보다 성능이 열등하여, MDNs가 불확실성 정량화에 더 효과적임을 시사한다.
• 평균 절대 오차(MAE) 측면에서 XGBoost가 CGANs를 능가하여, XGBoost가 점 추정 과제에서 더 정확함을 보여준다.
• MDNs나 XGBoost에 비해 CGANs의 훈련과 하이퍼파라미터 튜닝이 훨씬 더 복잡하다.
• 연구 결과, CGANs는 아직 모델링 품질이나 훈련 용이성 측면에서 기존의 회귀 솔버들과 경쟁하지 못함을 결론으로 내린다.
• 불확실성 모델링에선 MDNs가 열등하고, 고정확도 예측에선 XGBoost가 CGANs보다 바람직하다.