[論文レビュー] Pareto GAN: Extending the Representational Power of GANs to Heavy-Tailed Distributions

Todd Huster, Jérémy E. Cohen+6 more|arXiv (Cornell University)|Jan 22, 2021

Machine Learning in Healthcare被引用数 5

ひとこと要約

Pareto GAN は極値理論を活用して生成器に一般化パレート分布（GPD）の尾部を強制することで、重たい尾を持つ分布のモデル化を GAN に拡張する。安定したルート・ユークリッドエネルギー距離損失を用いることで、信頼性の高い学習が可能となる。標準 GAN と比較して、尾部マッチングと多様体忠実度の両面で優れた性能を発揮し、合成された重たい尾を持つデータにおいて平均面積指標が 28、平均対数 MDist が 7.7 を達成した。

ABSTRACT

Generative adversarial networks (GANs) are often billed as "universal distribution learners", but precisely what distributions they can represent and learn is still an open question. Heavy-tailed distributions are prevalent in many different domains such as financial risk-assessment, physics, and epidemiology. We observe that existing GAN architectures do a poor job of matching the asymptotic behavior of heavy-tailed distributions, a problem that we show stems from their construction. Additionally, when faced with the infinite moments and large distances between outlier points that are characteristic of heavy-tailed distributions, common loss functions produce unstable or near-zero gradients. We address these problems with the Pareto GAN. A Pareto GAN leverages extreme value theory and the functional properties of neural networks to learn a distribution that matches the asymptotic behavior of the marginal distributions of the features. We identify issues with standard loss functions and propose the use of alternative metric spaces that enable stable and efficient learning. Finally, we evaluate our proposed approach on a variety of heavy-tailed datasets.

研究の動機と目的

• 標準 GAN が重たい尾を持つ分布をモデル化する際に、特に尾部で一般化性能が低い問題に対処すること。
• Wasserstein やエネルギー距離といった一般的な GAN 損失関数が、無限のモーメントを持つ重たい尾データに適用された場合に不安定または無限大になる理由を特定すること。
• 一般化パレート分布（GPD）を用いて、パワー則の尾部挙動を明示的にモデル化できる生成器アーキテクチャを設計すること。
• 重たい尾を持つデータに対する GAN 学習に適した、安定で有限の勾配を持つ損失関数を開発すること。
• Pareto GAN が、異なる周辺尾指数を持つ多変量分布を効果的に学習できるかどうかを実証すること。

提案手法

• 生成器は重たい尾を持つコーシー分布から抽出されたノイズベクトルを用い、学習可能な尾指数を用いた要素ごとの累乗変換を施して、望ましい GPD に類似した尾部を持つ出力を生成する。
• 生成器はルート・ユークリッドエネルギー距離（root-ED）損失を用いて訓練され、標準エネルギー距離が無限大になる場合でも、期待値が有限で勾配が安定するよう保証される。
• 入力ノイズの尾指数は、極値理論を用いて推定され、特に高い閾値を超える条件付き超過分布を一般化パレート分布でモデル化することで実現される。
• 損失関数は、分布がより良好に振る舞う変換された度数空間で評価され、重たい尾を持つデータに起因する無限モーメントの問題にもかかわらず、安定した最適化を可能にする。
• モデルは 4 層の全結合層と各層 256 ニューロンを有するマルチレイヤーパーセプトロン生成器を用い、200次元のノイズ入力を用いて 10,000 個のサンプルで訓練された。
• 生成されたサンプルが真のデータ多様体にどれほど近いかを評価するために、累乗変換の逆操作と線形部分空間への射影を用いたプロジェクションベースの多様体距離メトリックが使用された。

実験結果

リサーチクエスチョン

• RQ1 標準 GAN は、重たい尾を持つ分布における極値への外挿を効果的に行えるだろうか、それとも訓練データを超えて一般化に失敗するだろうか？
• RQ2 なぜ Wasserstein やエネルギー距離といった一般的な GAN 損失関数が、無限のモーメントを持つ重たい尾データに適用された場合に失敗するのか？
• RQ3 極値理論を用いて、重たい尾の漸近的尾部挙動を明示的にモデル化できる GAN を設計できるだろうか？
• RQ4 ルート・ユークリッドエネルギー距離のような安定で有限の勾配を持つ損失関数を用いることで、標準損失が失敗する重たい尾データに対しても効果的な学習が可能になるだろうか？
• RQ5 Pareto GAN は、周辺尾指数が不均一な多変量分布に一般化できるだろうか？

主な発見

• ルート-ED 損失を用いた Pareto GAN は、平均面積指標が 28 を達成し、標準エネルギー距離損失を用いた Pareto GAN（197）や通常の GAN（132）を大きく上回り、尾部マッチングの優れた性能を示した。
• ルート-ED 損失を用いた Pareto GAN は、平均対数 MDist が 7.7 を達成し、他のバージョン、特に対数正規 GAN（35.7）と比較して、生成されたサンプルが真のデータ多様体にはるかに近い位置に分布していることを示した。
• 標準エネルギー距離損失を用いた Pareto GAN は、生成器の能力にもかかわらず、不安定な勾配のため、適切な尾部挙動を学習できず、しばしば有界な周辺分布を生成した。
• ルート-ED 損失は、安定した学習と両側の重たい尾の効果的学習を可能にし、重たい尾を持つデータに対して標準エネルギー距離に内在する不安定性を解消した。
• 本手法は、異なる周辺尾指数を持つ多変量分布を効果的にモデル化でき、不均一な尾部挙動のモデル化における柔軟性を示した。
• 100万個の評価サンプルを用いた合成データ上の実験により、3つの異なる乱数シードにおいて一貫した性能が得られ、頑健性と再現可能性が検証された。