[論文レビュー] Using generative adversarial networks to synthesize artificial financial datasets

Dmitry Efimov, Di Xu+3 more|arXiv (Cornell University)|Feb 6, 2020

Stock Market Forecasting Methods被引用数 11

ひとこと要約

本論文では、実世界のクレジットおよび詐欺リスクデータの分布を高精度に再現する高精細な人工金融データセットを合成するために、新規の条件付きDRAGANベースのGANアーキテクチャを提案する。3つのAmerican Expressデータセットで訓練されたGANによる生成データは、特徴の分布、多次元構造、およびモデル性能において実データと一致しており、合成データで訓練された教師ありモデルは、実データで訓練されたモデルと比較してAUCスコアが3–5%以内の差にとどまった。

ABSTRACT

Generative Adversarial Networks (GANs) became very popular for generation of realistically looking images. In this paper, we propose to use GANs to synthesize artificial financial data for research and benchmarking purposes. We test this approach on three American Express datasets, and show that properly trained GANs can replicate these datasets with high fidelity. For our experiments, we define a novel type of GAN, and suggest methods for data preprocessing that allow good training and testing performance of GANs. We also discuss methods for evaluating the quality of generated data, and their comparison with the original real data.

研究の動機と目的

• 機械学習モデルのベンチマーク評価のための、公開可能で高品質な金融データセットの不足に取り組むこと。
• 実金融データの統計的性質および複雑な関係性を保持する合成金融データを生成する手法を開発すること。
• GANによって生成されたデータで訓練された機械学習モデルが、実データで訓練されたモデルと同等の性能を達成できるかどうかを評価すること。
• 実際の顧客から由来しない人工データを生成することで、データプライバシーを確保し、公開共有を可能にすること。

提案手法

• 訓練の安定性と生成品質を向上させるために、条件付きGANとDRAGANを組み合わせた新規のGANアーキテクチャを提案した。
• 正規化、ワンホットエンコーディング、歪度の高い特徴およびカテゴリカル特徴の処理を含むデータ前処理技術を適用し、GANの訓練およびテスト性能を向上させた。
• DataQCツールキットを用いて、一変量および多次元分布の両方において、実データと生成データの類似性を定量的に評価した。
• t-SNE可視化を用いて、低次元空間における実データと生成データの全体的な構造およびクラスタリングを比較した。
• 同じハイパーパrameterを用いて、実データおよびGAN生成データの両方で同一の教師あり機械学習モデルを訓練し、性能を直接比較した。
• 一般化性能および合成データの忠実度を評価するために、出サンプルの実データにおけるAUCをモデル性能の指標として測定した。

実験結果

リサーチクエスチョン

• RQ1 GANアーキテクチャは、実金融データセットに内在する複雑な統計的分布および関係性を効果的に学習し、再現できるか？
• RQ2 GANによって生成された金融データで訓練された機械学習モデルは、実データで訓練されたモデルとどの程度性能が一致するか？
• RQ3 高次元かつ異種の金融データに対して、GANの訓練および生成品質を向上させるために、データ前処理をどのように最適化できるか？
• RQ4 合成金融データの忠実度を、実データと比較して信頼性高く評価するための定量的および定性的な指標は何か？

主な発見

• 提案された条件付きDRAGANベースのGANは、3つの実American Expressデータセットの単変量および多次元分布を高い忠実度で再現した。
• 生成データの特徴ヒストグラムは、歪度のある、バイナリの、およびマルチモーダルな分布を含め、実データと非常に類似しており、連続的特徴ではわずかな平滑化が観察されたにとどまった。
• t-SNE可視化では、生成データが実データの全体的構造、クラスタリング、密度パターンを保持していることが示された。
• 合成データで訓練された教師ありモデルは、実データで訓練されたモデルと比較してAUCスコアが3–5パーセンテージポイント以内の差にとどまり、それぞれDataset A: 0.66 vs. 0.63、Dataset B: 0.80 vs. 0.78、Dataset C: 0.89 vs. 0.86であった。
• 実データと合成データで訓練されたモデルの性能差は小さく、合成データが金融ML研究の信頼できるベンチマークとして機能できることを示した。