[論文レビュー] Conditional Generative Adversarial Networks for Regression

Karan Aggarwal, Matthieu Kirchmeyer+3 more|arXiv (Cornell University)|May 30, 2019

Gaussian Processes and Bayesian Inference参考文献 8被引用数 8

ひとこと要約

この論文は、低次元出力を持つ回帰タスクにおける条件付き生成対抗ネットワーク（CGAN）の応用を検討し、入力ノイズを組み込むことで現実の不確実性をよりよく反映する暗黙的確率モデルを提案する。CGANは有望ではあるが、尤度においては混合密度ネットワーク（MDNs）に、平均絶対誤差においてはXGBoostに劣っており、実用的な回帰用途におけるCGANのさらなる革新が求められることが示唆される。

ABSTRACT

In recent years, impressive progress has been made in the design of implicit probabilistic models via Generative Adversarial Networks (GAN) and its extension, the Conditional GAN (CGAN). Excellent solutions have been demonstrated mostly in image processing applications which involve large, continuous output spaces. There is almost no application of these powerful tools to problems having small dimensional output spaces. Regression problems involving the inductive learning of a map, $y=f(x,z)$, $z$ denoting noise, $f:\mathbb{R}^n imes \mathbb{R}^k ightarrow \mathbb{R}^m$, with $m$ small (e.g., $m=1$ or just a few) is one good case in point. The standard approach to solve regression problems is to probabilistically model the output $y$ as the sum of a mean function $m(x)$ and a noise term $z$; it is also usual to take the noise to be a Gaussian. These are done for convenience sake so that the likelihood of observed data is expressible in closed form. In the real world, on the other hand, stochasticity of the output is usually caused by missing or noisy input variables. Such a real world situation is best represented using an implicit model in which an extra noise vector, $z$ is included with $x$ as input. CGAN is naturally suited to design such implicit models. This paper makes the first step in this direction and compares the existing regression methods with CGAN. We notice however, that the existing methods like mixture density networks (MDN) and XGBoost do quite well compared to CGAN in terms of likelihood and mean absolute error, respectively. Both these methods are comparatively easier to train than CGANs. CGANs need more innovation to have a comparable modeling and ease-of-training with respect to the existing regression solvers. In summary, for modeling uncertainty MDNs are better while XGBoost is better for the cases where accurate prediction is more important.

研究の動機と目的

• m=1 または少数の値をとるような小さな出力次元を持つ回帰問題への条件付きGAN（CGAN）の応用を調査すること。
• 入力ノイズzを用いた暗黙的生成アプローチにより、回帰における不確実性を効果的にモデル化できるかを評価すること。
• 尤度および予測精度の観点から、混合密度ネットワーク（MDNs）やXGBoostといった既存の回帰手法と比較して、CGANの性能を評価すること。
• CGANを回帰に適用する際の訓練上の課題を特定し、より単純なモデルと比較して実用的かどうかを評価すること。

提案手法

• 入力x、ノイズz、出力yをy = f(x, z)として定式化し、f: R^n × R^k → R^m（mが小さい）とする。
• CGANアーキテクチャを用いて、尤度の明示的計算を避けることで、p(y|x)の条件付き分布を暗黙的に学習する。
• 生成器ネットワークを用いて、xとランダムノイズzに条件づけた出力を生成し、識別器を用いて本物のサンプルと生成されたサンプルを区別する。
• 生成器と識別器を敵対的に訓練し、忠実性および分布の整合性の両方を最適化する。
• 出力空間が低次元である回帰タスクにモデルを適用し、標準的なパラメトリックモデルと対比する。
• 標準的な評価指標を用いる：不確実性モデリングには対数尤度、予測精度には平均絶対誤差（MAE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 m=1 などの小さな出力次元を持つ回帰タスクを、CGANが効果的にモデル化できるか？
• RQ2 尤度の観点から、CGANの性能はMDNsに比べてどうか？
• RQ3 予測精度（MAE）の観点から、CGANの性能はXGBoostに比べてどうか？
• RQ4 MDNs や XGBoost よりも単純なモデルと比較して、CGANを回帰に適用する際の訓練上の課題と実用的制限は何か？
• RQ5 ノイズの多いまたは欠損のある入力を伴う現実世界の回帰において、CGANの暗黙的モデリングアプローチは、明示的尤度モデルよりも適しているか？

主な発見

• CGANは、入力ノイズzを組み込むことで、現実の確率的性質を反映する観点から、不確実性モデリングに理論的に適している。
• 理論的利点があるものの、対数尤度の観点ではMDNsに劣っており、MDNsが不確実性の定量化においてより効果的であることが示された。
• 平均絶対誤差（MAE）の観点ではXGBoostがCGANを上回っており、XGBoostが点予測タスクにおいてより正確であることが示された。
• MDNs や XGBoost に比べ、CGANはより複雑な訓練とハイパーパramータチューニングを要する。
• 本研究の結論として、CGANはモデリング品質や訓練の容易さの観点から、既存の回帰ソルバーにまだ劣っている。
• 不確実性モデリングにおいてはMDNsが優れている。高精度な予測が必要な場合には、XGBoostがCGANよりも好ましい。