[论文解读] Adversarial Regression. Generative Adversarial Networks for Non-Linear Regression: Theory and Assessment

Yoann Boget|arXiv (Cornell University)|Oct 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 4

一句话总结

本文提出使用生成对抗网络（GANs）进行对抗性回归，以估计非线性回归的完整预测密度分布，实现不确定性量化。结果表明，基于GAN的模型能够有效逼近复杂、非线性的条件密度，即使在高维空间中亦然，但其性能高度依赖于超参数调优和GAN架构的选择。

ABSTRACT

Adversarial Regression is a proposition to perform high dimensional non-linear regression with uncertainty estimation. We used Conditional Generative Adversarial Network to obtain an estimate of the full predictive distribution for a new observation. Generative Adversarial Networks (GAN) are implicit generative models which produce samples from a distribution approximating the distribution of the data. The conditional version of it (CGAN) takes the following expression: $\min\limits_G \max\limits_D V(D, G) = \mathbb{E}_{x\sim p_{r}(x)} [log(D(x, y))] + \mathbb{E}_{z\sim p_{z}(z)} [log (1-D(G(z, y)))]$. An approximate solution can be found by training simultaneously two neural networks to model D and G and feeding G with a random noise vector $z$. After training, we have that $G(z, y)\mathrel{\dot\sim} p_{data}(x, y)$. By fixing $y$, we have $G(z|y) \mathrel{\dot\sim} p{data}(x|y)$. By sampling $z$, we can therefore obtain samples following approximately $p(x|y)$, which is the predictive distribution of $x$ for a new $y$. We ran experiments to test various loss functions, data distributions, sample size, size of the noise vector, etc. Even if we observed differences, no experiment outperformed consistently the others. The quality of CGAN for regression relies on fine-tuning a range of hyperparameters. In a broader view, the results show that CGANs are very promising methods to perform uncertainty estimation for high dimensional non-linear regression.

研究动机与目标

• 开发并评估一种基于生成对抗网络（GANs）的新方法，用于非线性回归，该方法估计完整的预测密度分布，而非点估计。
• 解决传统回归方法在捕捉预测不确定性方面的局限性，特别是在非线性和高维设置下。
• 评估多种GAN变体（例如，WGAN、SGAN、RSGAN）在逼近回归任务条件密度方面的性能。
• 研究超参数（如噪声维度、批量大小和样本大小）对GAN训练稳定性与回归准确率的影响。
• 探索对抗性回归在高维输入和输出空间中的可行性，超越低维合成示例的范围。

提出的方法

• 对抗性回归被形式化为一种条件GAN设置，其中生成器学习将噪声向量和输入特征映射到预测输出分布。
• 生成器通过训练，使生成的样本在判别器眼中与真实数据无法区分，而判别器则被训练以区分真实样本与生成样本。
• 使用条件GAN以强制输出分布依赖于输入特征，从而实现条件密度估计。
• 评估标准GAN损失、WGAN和RSGAN等损失函数，以评估其对训练稳定性和分布逼近质量的影响。
• 训练过程通过反向传播和梯度下降交替优化生成器和判别器，生成器的目标是最小化判别器区分真实与虚假样本的能力。
• 评估指标包括柯尔莫哥洛夫-斯米尔诺夫（KS）距离、Kullback-Leibler（KL）散度、Jensen-Shannon（JS）散度以及测量值的方差，用于量化分布相似性。

实验结果

研究问题

• RQ1 GAN能否在回归任务中有效学习并逼近复杂、非线性的条件密度函数？
• RQ2 不同GAN变体（如WGAN、RSGAN、SGAN）在回归任务中的分布准确性与训练稳定性方面表现如何比较？
• RQ3 噪声维度、批量大小和训练样本大小等超参数如何影响预测密度估计的质量？
• RQ4 对抗性回归能否泛化到高维输入和输出空间，而不仅限于低维合成示例？
• RQ5 与传统点估计方法相比，对抗性回归在多大程度上能提供有意义的不确定性量化？

主要发现

• 使用GAN的对抗性回归在非线性回归任务中成功逼近了真实的预测密度，即使误差分布为非高斯或异方差时亦然。
• 该方法对新输入生成了准确的密度估计，线性与非线性情况下生成分布与真实分布均表现出良好对齐。
• 训练稳定性和性能对超参数选择极为敏感，且在所有实验中并无单一GAN变体始终优于其他变体。
• 随着样本数量增加和噪声维度优化，逼近质量得到提升，但训练运行结果表现出显著方差。
• 在更高维空间（如5维输入）的探索性实验表明，对抗性回归可泛化至低维情况之外，尽管仍需进一步调优。
• 尽管存在训练不稳定性，多种GAN架构均产生有希望的结果，表明对抗性回归在高维、非线性回归中实现完整不确定性量化的潜力巨大。