[論文レビュー] Regression with Conditional GAN

Karan Aggarwal, Matthieu Kirchmeyer+3 more|arXiv (Cornell University)|Jan 1, 2019

Gaussian Processes and Bayesian Inference参考文献 6被引用数 5

ひとこと要約

本稿では、小次元出力を持つ回帰タスクに条件付き生成対抗ネットワーク（CGAN）を適用する方法を検討し、入力ノイズを組み込むことで現実の不確実性をよりよく反映する暗黙的確率モデルを提案する。CGANは有望ではあるが、本研究では、尤度に関してはMixture Density Networks（MDN）や平均絶対誤差に関してはXGBoostがCGANを上回ることを発見しており、回帰におけるCGANの競争力のある訓練とモデリング効率の実現にはさらなる革新が求められることを示している。

ABSTRACT

In recent years, impressive progress has been made in the design of implicit probabilistic models via Generative Adversarial Networks (GAN) and its extension, the Conditional GAN (CGAN). Excellent solutions have been demonstrated mostly in image processing applications which involve large, continuous output spaces. There is almost no application of these powerful tools to problems having small dimensional output spaces. Regression problems involving the inductive learning of a map, $y=f(x,z)$, $z$ denoting noise, $f:\mathbb{R}^n imes \mathbb{R}^k ightarrow \mathbb{R}^m$, with $m$ small (e.g., $m=1$ or just a few) is one good case in point. The standard approach to solve regression problems is to probabilistically model the output $y$ as the sum of a mean function $m(x)$ and a noise term $z$; it is also usual to take the noise to be a Gaussian. These are done for convenience sake so that the likelihood of observed data is expressible in closed form. In the real world, on the other hand, stochasticity of the output is usually caused by missing or noisy input variables. Such a real world situation is best represented using an implicit model in which an extra noise vector, $z$ is included with $x$ as input. CGAN is naturally suited to design such implicit models. This paper makes the first step in this direction and compares the existing regression methods with CGAN. We notice however, that the existing methods like mixture density networks (MDN) and XGBoost do quite well compared to CGAN in terms of likelihood and mean absolute error, respectively. Both these methods are comparatively easier to train than CGANs. CGANs need more innovation to have a comparable modeling and ease-of-training with respect to the existing regression solvers. In summary, for modeling uncertainty MDNs are better while XGBoost is better for the cases where accurate prediction is more important.

研究の動機と目的

• 小次元出力空間（例：m=1 または少数の出力）を持つ回帰問題における条件付きGAN（CGAN）の適用可能性を調査すること。
• Mixture Density Networks（MDN）やXGBoostといった既存手法と比較して、CGANベースの回帰の予測性能および訓練のしやすさを評価すること。
• 入力ノイズzを組み込むことで、欠落またはノイズのある入力に起因する現実の確率的挙動を反映できるか、CGANが不確実性を効果的にモデリングできるかを評価すること。
• CGANの回帰における限界を特定し、今後の訓練安定性およびモデリング精度の向上に向けた方向性を提示すること。

提案手法

• 本稿では、回帰を条件付き生成モデリング問題として定式化する：y = f(x, z)，ここでxは入力、zはノイズ、fはR^n × R^kからR^mへの写像であり、mは小さい。
• 生成器が入力xとノイズzに条件づけられた出力yを生成するCGANフレームワークを採用する。同時に、識別器は実データと生成データのyサンプルを区別する。
• 生成器は、実データと区別がつかない出力を生成するように敵対的に訓練され、p(y|x)の条件付き分布を暗黙的にモデリングする。
• 訓練目的関数は、CGANの標準ミニマックス損失に従い、生成器はlog(1 - D(G(x,z)))を最小化し、識別器はlog(D(x,y)) + log(1 - D(x,G(x,z)))を最大化する。
• 本手法は、標準的な回帰ベンチマークで評価され、尤度や平均絶対誤差といった指標を用いてMDNやXGBoostと性能を比較する。
• 本アプローチは、閉形式の尤度表現が不要であるため、暗黙的モデリングによる密度推定問題として回帰を扱う。

実験結果

リサーチクエスチョン

• RQ1 CGANは、m=1 や m=2 のような小次元出力空間の回帰タスクを効果的にモデリングできるか？
• RQ2 尤度という観点から、CGANベースの回帰はMixture Density Networks（MDN）と比べてどの程度の性能を示すか？
• RQ3 平均絶対誤差および予測精度という観点から、CGANベースの回帰はXGBoostと比べてどの程度の性能を示すか？
• RQ4 特に安定性および収束性に注目した場合、CGANの回帰訓練における主な課題は何か？
• RQ5 固定されたノイズ分布を仮定するのではなく、入力をノイズとして扱うことで、CGANは現実の不確実性をよりよく捉えることができるか？

主な発見

• Mixture Density Networks（MDN）は尤度という観点からCGANを上回っており、真の出力の条件付き分布への適合度が優れていることを示している。
• XGBoostは平均絶対誤差という観点から優れた性能を示しており、回帰タスクにおける正確な点予測に効果的であることが示された。
• CGANはMDNやXGBoostと比べてより多くの訓練作業を要し、安定性にも欠けることが判明した。MDNやXGBoostは訓練が比較的容易で、信頼性のある収束を示した。
• 理論的にはノイズの暗黙的注入により不確実性をモデリングできる可能性を有するが、実際の回帰タスクでは、既存の回帰ソルバーに比べて性能がまだ劣っている。
• 本研究は、既存の回帰手法と同等のモデリング品質および訓練効率を達成するためには、CGANのアーキテクチャおよび訓練手順におけるさらなる革新が不可欠であると結論づける。