[論文レビュー] Statistical analysis of Wasserstein GANs with applications to time series forecasting

Moritz Haas, Stefan Richter|arXiv (Cornell University)|Nov 5, 2020

Image and Signal Denoising Methods参考文献 26被引用数 6

ひとこと要約

本稿は、依存データの下で無条件および条件付きWasserstein GANの統計的理論を確立し、修正されたWasserstein距離を用いて過剰ベイズリスクの収束速度を証明する。これにより推定量の弱収束が可能となり、高次元時系列予測における漸近的有効な信頼区間の構築が可能となる。合成データおよび実際の気温データを用いた検証で、強い経験的被覆率が得られた。

ABSTRACT

We provide statistical theory for conditional and unconditional Wasserstein generative adversarial networks (WGANs) in the framework of dependent observations. We prove upper bounds for the excess Bayes risk of the WGAN estimators with respect to a modified Wasserstein-type distance. Furthermore, we formalize and derive statements on the weak convergence of the estimators and use them to develop confidence intervals for new observations. The theory is applied to the special case of high-dimensional time series forecasting. We analyze the behavior of the estimators in simulations based on synthetic data and investigate a real data example with temperature data. The dependency of the data is quantified with absolutely regular beta-mixing coefficients.

研究の動機と目的

• 依存観測、特に時系列データの下でのWasserstein GANの統計的枠組みの構築。
• 修正されたWasserstein距離を用いたWGAN推定量の過剰ベイズリスクの上界を導出すること。
• WGAN推定量の弱収束を形式化し、新たな観測のための漸近的信頼区間の構築を可能にすること。
• 生成器に関する構造的仮定が次元の呪いを回避する上で果たす影響を調査すること。
• i.i.d.設定を超えたGAN理論を、β-混合係数を用いた依存性の組み込みによって拡張すること。

提案手法

• 依存データ下での弱収束をメトライズする修正されたWasserstein距離 $ W_{1,n} $ を用いたWGANの理論的分析。
• 近似誤差の明示的バウンドを導出するため、生成器 $ g $ をホルダー空間の関数としてモデル化。
• $ \beta $-混合係数を用いて時系列の依存性を定量化し、弱依存下での収束結果を可能にする。
• 潜在分布 $ \mathbb{P}^Z $ からの $ N $ 回の抽出を用いて信頼区間 $ I_{N,n}(A_{i-1}) $ を構築し、被覆率を経験的に評価。
• 複数の時系列に共通する生成器アーキテクチャを用いて条件付きWGANを訓練し、潜在ノイズと条件付き入力 $ Y $ を使用。
• テストセットおよび訓練セットにおける最適輸送距離（OT）と95%信頼区間の経験的被覆率を用いて性能を評価。

実験結果

リサーチクエスチョン

• RQ1 依存時系列データ下でのWGAN推定量の過剰ベイズリスクの収束速度は何か？
• RQ2 依存性が存在する状況で、WGAN推定量の弱収束をどのように形式的に確立できるか？
• RQ3 WGANを用いて、漸近的有効性を持つ新たな時系列観測のための信頼区間を構築できるか？
• RQ4 生成器ネットワークに対する構造的仮定は、近似誤差と次元の呪いにどのように影響を与えるか？
• RQ5 訓練エポック数を増加させることで、WGAN推定量の安定性と性能にどのような影響が生じるか？

主な発見

• 成長する評価器ネットワークを備えたWGAN目的関数でさえ、弱収束をメトライズし、依存性下でも統計的妥当性を保証する。
• 気温予測タスクにおいて、1000エポック後、モデル (M3) はテストセットで70.71%の経験的95%信頼区間被覆率を達成した。
• 2000エポック後、モデル (M3) はベルリンの気温予測で86.19%のテスト被覆率に向上し、さらなる改善の可能性を示した。
• 2000エポック後、モデル (M3) の最適輸送距離は2.35であった。これは、32都市という高次元予測においても学習が安定していることを示している。
• 3次元の条件付き入力のみを用いたモデル (M1) は、より速い収束を示したが、(M2) や (M3) と同等の最終的性能を達成しており、入力次元に強く依存しないロバストネスを示した。
• 理論的結果はβ-混合依存性下でも成立し、収束速度を損なわずに大規模な生成器ネットワークの使用を正当化する。