[論文レビュー] Uncertainties associated with GAN-generated datasets in high energy physics

K. Matchev, Alexander Roman+1 more|arXiv (Cornell University)|Feb 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 64被引用数 43

ひとこと要約

この論文は、生成的対抗ネットワーク（GANs）が、元のトレーニングデータから達成可能な範囲を超えて高エネルギー物理学のシミュレーションにおける統計的精度を向上させることができないことを主張している。これは、固有の情報理論的制限に起因する。大規模なGAN生成データセットを用いても、有限なトレーニングサンプルに起因する根本的な不確実性は消えず、統計的精度が極めて重要な感受性分析において、GANはモンテカルロシミュレーションの置き換えに不適切である。

ABSTRACT

Recently, Generative Adversarial Networks (GANs) trained on samples of traditionally simulated collider events have been proposed as a way of generating larger simulated datasets at a reduced computational cost. In this paper we point out that data generated by a GAN cannot statistically be better than the data it was trained on, and critically examine the applicability of GANs in various situations, including a) for replacing the entire Monte Carlo pipeline or parts of it, and b) to produce datasets for usage in highly sensitive analyses or sub-optimal ones. We present our arguments using information theoretic demonstrations, a toy example, as well as in the form of a formal statement, and identify some potential valid uses of GANs in collider simulations.

研究の動機と目的

• GAN生成データセットが高エネルギー物理学の解析において統計的感度を向上させられるとする仮定に挑戦すること。
• 有限なトレーニングサンプルによって生じる根本的な統計的不確実性をGANが克服できないことを示すこと。
• GANがコライダー・シミュレーション・パイプラインにおいて依然として有用に応用可能な状況を明確にすること。
• GANがHEPで成功したと報告された先行研究との矛盾を解消すること。

提案手法

• GAN拡張データが元のトレーニングデータを超えてモデルの識別能を向上させられないという統計的記述（ステートメント1）を形式化すること。
• 情報理論（特に相互情報量、カルバック・ライブラー距離、フィッシャー情報）を用いて、いかなる解析もGANデータから元のトレーニング・サンプルよりも多くの情報を抽出できないことを証明すること。
• ガウス分布を用いたトゥイ・エクサムプルを構築し、GANがトレーニングデータの統計的不確実性を引き継ぎ、それを伝搬することを説明すること。
• サンプルサイズを増加させた場合のGAN生成データの標本平均と標準偏差の挙動を分析し、トレーニングデータの統計に漸近的に収束することを示すこと。
• GANによるデータセットの人工的拡大（「GANアンプリフィケーション」）の概念を導入し、元のトレーニング集合を超えてデータサイズを増やす可能性を検討すること。
• モンテカルロ疑似実験を用いて、真のシミュレーテッド・データとGAN生成データの統計的精度を比較し、定量的な不確実性伝播を実施すること。

実験結果

リサーチクエスチョン

• RQ1 GAN生成データセットは、モデル識別力の観点から、元のトレーニングデータを統計的に上回ることができるか？
• RQ2 有限なサンプルでトレーニングされたGANが、高エネルギー物理学の解析における統計的精度をどの程度向上させられるか？
• RQ3 理論的な情報量の増加限界があるにもかかわらず、なぜ一部の先行研究ではGANの応用が成功したと報告されているのか？
• RQ4 どのような特定の状況下で、統計的妥当性を損なわずにGANはコライダー・シミュレーションに依然として有用に応用可能か？

主な発見

• 情報理論的制約により、GAN生成データセットは、元のトレーニングデータから達成可能な範囲を超えて、モデル識別力の統計的精度を向上させることができない。
• GAN生成データの標本平均の標準誤差は、無限に多くの生成イベントがあっても、ゼロに収束せず、トレーニング・サンプルの不確実性に漸近的に収束する。
• トゥイ・エクサムプルでは、GAN生成データの漸近的平均が真の母平均ではなく、トレーニング・データの標本平均に収束することを示しており、GANがトレーニング集合の統計的バイアスを引き継いでいることを実証している。
• GANベースの解析における総不確実性は、トレーニング・サンプルの統計的不確実性と生成データからのサンプリング不確実性の二乗和根（quadrature sum）であり、前者を下回ることはできない。
• 先行研究におけるGANの成功は、しばしば検出器シミュレーションや転移学習といった、データの忠実度や速度が統計的精度よりも重要となるタスクでGANが使用されたことに起因している。
• GANの有効な応用例には、検出器シミュレーションの置き換え、転移学習、感受性が低い解析におけるデータ拡張が含まれる。これらの状況では、統計的制限が結果に影響を及ぼさない。