[論文レビュー] Copula & Marginal Flows: Disentangling the Marginal from its Joint

Magnus Wiese, Robert Knobloch+1 more|arXiv (Cornell University)|Jul 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 10

ひとこと要約

本稿では、コプーラ・フローとマージナル・フローを用いて、歪度分布と従属構造を分離する新しい深層生成モデル、コプーラおよびマージナル・フロー（CM フロー）を提案する。標準的な生成ネットワークがリプシッツ連続性の制約により、尾部の漸近的挙動を正確にモデル化できないことを理論的に示し、数値実験により、CM フローが複雑なコプーラを非常に高精度に近似可能であり、同時に正確な尾部モデリングを可能にする一様分布の周辺分布を維持できることを示している。

ABSTRACT

Deep generative networks such as GANs and normalizing flows flourish in the context of high-dimensional tasks such as image generation. However, so far exact modeling or extrapolation of distributional properties such as the tail asymptotics generated by a generative network is not available. In this paper, we address this issue for the first time in the deep learning literature by making two novel contributions. First, we derive upper bounds for the tails that can be expressed by a generative network and demonstrate Lp-space related properties. There we show specifically that in various situations an optimal generative network does not exist. Second, we introduce and propose copula and marginal generative flows (CM flows) which allow for an exact modeling of the tail and any prior assumption on the CDF up to an approximation of the uniform distribution. Our numerical results support the use of CM flows.

研究の動機と目的

• 深層生成ネットワークにおける正確な尾部モデリングの欠如、特に極値解析の文脈でその問題を解決すること。
• 既存の生成ネットワークに内在するリプシッツ制約のため、標準的な生成ネットワークが尾部挙動を正確にモデル化できない理論的制限を証明すること。
• 周辺分布と従属構造を明示的に分離できる新しいアーキテクチャ—コプーラおよびマージナル・フロー（CM フロー）—を提案すること。
• 数値実験を通じて、CM フローが複雑なコプーラを高精度に近似可能であり、同時に正確な尾部外挿を可能にする一様周辺分布を維持できることを示すこと。

提案手法

• CM フローは、従属構造をモデル化するコプーラ・フローと、個々の累積分布関数（CDF）をモデル化するマージナル・フローに分解される。
• コプーラ・フローは、Real NVP ベースのフローと可逆的なCDF（例：シグモイド関数）の合成として構築され、出力が[0,1]に収まるように保証される。
• マージナル・フローは、データの経験的CDFを逆転させるように訓練され、周辺分布の正確なモデリングが可能になる。
• モデルは可逆変換の可換図式 Z → U → C → X を用いる。ここで、U は一様分布、C はコプーラを表す。
• 一方の変数を変換し、もう一方を一様に保つ制約付き2変量コプーラ・フローを導入し、正確な周辺分布の維持を実現する。
• トレーニングは、ジェンセン・ショーンナー・ダイバージェンスに基づくブレイキング基準、周辺分布の一様性評価指標（T）、最大密度偏差（M）を最適化することで行われる。

実験結果

リサーチクエスチョン

• RQ1 GAN や正規化フローなどの標準的な深層生成ネットワークは、ターゲット分布の尾部漸近的挙動を正確にモデル化できるか？
• RQ2 既存の生成ネットワークにおける正確な尾部モデリングを妨げる理論的制限は何であるか？
• RQ3 周辺分布と従属構造を明示的に分離できる深層生成モデルを構築することは可能か？
• RQ4 コプーラ・フローとマージナル・フローは、複雑なコプーラを高精度に近似可能であり、同時に正確な一様周辺分布を維持できるか？
• RQ5 極値挙動の正確な外挿を可能にするフローに基づくモデルを設計することは可能か？

主な発見

• 理論的分析により、リプシッツ連続な生成器を持つ任意の生成ネットワークの尾部漸近的挙動は、より軽い尾部を持つ分布によって上限に制限されることを証明した。これは、正確な尾部モデリングが一般に不可能であることを示唆する。
• 入力ノイズのp次のモーメントが有界である場合、Lp空間内に最適な生成ネットワークが存在しないことが示された。これはリプシッツ制約に起因する。
• 数値結果から、CM フローはClaytonコプーラ（パラメータ2）で2.40×10⁻⁴、Frankコプーラ（パラメータ5）で6.89×10⁻⁴、Gumbelコプーラ（パラメータ5）で5.96×10⁻³のジェンセン・ショーンナー・ダイバージェンスを達成しており、高い近似精度が確認された。
• すべてのベンチマークにおいて、周辺分布の一様性指標T(1,25)とT(2,25)が1.3×10⁻⁴未満に保たれ、誘導された周辺分布がほぼ一様であることが確認された。
• 最大密度偏差M(1,25)とM(2,25)は5.0×10⁻²未満に保たれ、定義域全域で一貫した密度推定が行われていることが示された。
• 制約付き2変量コプーラ・フローの使用により、1つの変数について正確な周辺分布が維持され、正確な尾部モデリングが可能となった。