[論文レビュー] Adversarial Regression. Generative Adversarial Networks for Non-Linear Regression: Theory and Assessment

Yoann Boget|arXiv (Cornell University)|Oct 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 12被引用数 4

ひとこと要約

本稿では、生成対抗ネットワーク（GANs）を用いた敵対的回帰を提案し、非線形回帰における予測密度分布の完全な推定を可能にし、不確実性の定量化を実現する。GANベースのモデルが、高次元空間ですらも、複雑な非線形条件付き密度を効果的に近似できることを示している。性能はハイパーパrameterのチューニングおよびGANアーキテクチャの選択に強く依存する。

ABSTRACT

Adversarial Regression is a proposition to perform high dimensional non-linear regression with uncertainty estimation. We used Conditional Generative Adversarial Network to obtain an estimate of the full predictive distribution for a new observation. Generative Adversarial Networks (GAN) are implicit generative models which produce samples from a distribution approximating the distribution of the data. The conditional version of it (CGAN) takes the following expression: $\min\limits_G \max\limits_D V(D, G) = \mathbb{E}_{x\sim p_{r}(x)} [log(D(x, y))] + \mathbb{E}_{z\sim p_{z}(z)} [log (1-D(G(z, y)))]$. An approximate solution can be found by training simultaneously two neural networks to model D and G and feeding G with a random noise vector $z$. After training, we have that $G(z, y)\mathrel{\dot\sim} p_{data}(x, y)$. By fixing $y$, we have $G(z|y) \mathrel{\dot\sim} p{data}(x|y)$. By sampling $z$, we can therefore obtain samples following approximately $p(x|y)$, which is the predictive distribution of $x$ for a new $y$. We ran experiments to test various loss functions, data distributions, sample size, size of the noise vector, etc. Even if we observed differences, no experiment outperformed consistently the others. The quality of CGAN for regression relies on fine-tuning a range of hyperparameters. In a broader view, the results show that CGANs are very promising methods to perform uncertainty estimation for high dimensional non-linear regression.

研究の動機と目的

• 点推定ではなく、完全な予測密度分布を推定する非線形回帰のための新規手法を開発・評価すること。
• 特に非線形かつ高次元の設定において、従来の回帰手法が予測不確実性を捉えきれていないという限界を是正すること。
• WGAN、SGAN、RSGANなどのさまざまなGANバージョンが、回帰タスクにおける条件付き密度の近似にどの程度有効であるかを評価すること。
• ノイズ次元、バッチサイズ、サンプルサイズといったハイパーパrameterが、GANの訓練安定性および回帰精度に与える影響を調査すること。
• 低次元の合成例にとどまらず、高次元の入力および出力空間への敵対的回帰の妥当性を検討すること。

提案手法

• 敵対的回帰は、生成器がノイズベクトルと入力特徴量を用いて予測出力分布を生成する条件付きGANの枠組みとして定式化される。
• 生成器は、実データと区別がつかないサンプルを生成するように訓練され、判別器は実データと生成データを区別するように訓練される。
• 条件付きGANを用いることで、出力分布が入力特徴量に依存するよう強制され、条件付き密度推定が可能になる。
• 標準GAN損失、WGAN、RSGANなどの損失関数を評価し、訓練安定性および分布近似品質への影響を検証する。
• バックプロパゲーションと勾配降下法を用いて、生成器と判別器の最適化を交互に実行する。生成器は、判別器が実データと偽物を区別できないようにするよう最適化される。
• 評価指標には、コルモゴロフ・スミルノフ（KS）距離、カルバック・ライブラー（KL）ダイバージェンス、ジェンセン・シャノン（JS）ダイバージェンス、および測定値の分散を用い、分布の類似度を定量化する。

実験結果

リサーチクエスチョン

• RQ1 GANは、回帰タスクにおいて、複雑で非線形な条件付き密度関数を効果的に学習・近似できるか？
• RQ2 WGAN、RSGAN、SGANなどの異なるGANバージョンは、回帰タスクにおける分布の正確性と訓練安定性の観点で、どのように比較されるか？
• RQ3 ノイズ次元、バッチサイズ、学習サンプルサイズといったハイパーパrameterは、予測密度推定の質にどのように影響するか？
• RQ4 敵対的回帰は、低次元の合成例にとどまらず、高次元の入力および出力空間にも一般化可能か？
• RQ5 従来の点推定手法と比較して、敵対的回帰はどの程度意味のある不確実性の定量化を提供できるか？

主な発見

• GANを用いた敵対的回帰は、誤差分布が非ガウス分布や異分散性であっても、非線形回帰タスクにおいて真の予測密度を効果的に近似できる。
• 線形および非線形の両ケースにおいて、生成された密度と真の密度が良好に一致しており、新たな入力に対しても正確な密度推定が得られていることが実証された。
• 訓練安定性および性能は、ハイパーパrameterの選択に強く依存しており、すべての実験で一貫して優れた性能を示すGANバージョンは存在しないことがわかった。
• サンプルサイズが大きくなり、最適なノイズ次元が選ばれると、近似の質が向上するが、訓練ランの間で著しいばらつきが見られた。
• 高次元空間（例：5次元入力）における予備的実験では、敵対的回帰が低次元ケースにとどまらず一般化可能であることが示されたが、さらなるチューニングが必要であることがわかった。
• 安定性の欠如にもかかわらず、複数のGANアーキテクチャが有望な結果を生み出しており、高次元かつ非線形な回帰において、完全な不確実性の定量化を実現する強力な可能性を示している。