[論文レビュー] Point Cloud Generation using Transformer Encoders and Normalising Flows

Benno Käch, D. Krücker+1 more|arXiv (Cornell University)|Jan 1, 2022

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

本論文は、変換流（NF）を用いた粒子ジェット点群の新規生成モデルを提案する。このNFはトランスフォーマー符号化器によって精練され、第二のトランスフォーマー識別器と敵対的に訓練される。本手法はJetNetトップクォークデータセットにおいて最先端の性能を達成し、相関モデリングを著しく改善するとともに、従来モデル比4.6倍高速にジェットを生成するが、安定した訓練を維持している。

ABSTRACT

Data generation based on Machine Learning has become a major research topic in particle physics. This is due to the current Monte Carlo simulation approach being computationally challenging for future colliders, which will have a significantly higher luminosity. The generation of collider data is similar to point cloud generation, but arguably more difficult as there are complex correlations between the points which need to be modelled correctly. A refinement model consisting of normalising flows and transformer encoders is presented. The normalising flow output is corrected by a transformer encoder, which is adversarially trained against another transformer encoder discriminator/critic. The model reaches state-of-the-art performance while yielding a stable training.

研究の動機と目的

• 高輝度加速器物理学におけるモンテカルロシミュレーションの計算負荷を軽減するため、効率的なディープラーニングベースのデータ生成手法を開発すること。
• 特にジェットの部分構造において、複雑な相関をモデリングする能力に限界を示す正規化流れの課題を克服すること。
• 正規化流れを強力な初期化として用いることで、敵対的トランスフォーマー構造の訓練を安定化すること。
• 分布の類似性およびインバリアント質量モデリングの観点から、JetNetトップクォークジェットデータセットで最先端の性能を達成すること。
• 下流の物理学解析に適した、高速で微分可能かつ安定したリアルなジェットイベントの生成を可能にすること。

提案手法

• 15層の有理二次スプライン結合層を含む正規化流れ（NF）を用い、可逆的かつ微分可能な変換により、学習データを標準正規分布にマッピングする。
• 出力されたNFの結果を補正するために、追加補正を学習するトランスフォーマー符号化器を後処理として適用し、相関モデリングを改善する。
• 第二のトランスフォーマー符号化器をクライアント／識別器として用い、本物のジェットと生成されたジェットを区別する敵対的訓練を実施する。
• 勾配ペナルティとLSGAN損失を用いたWGANに類似した訓練目的を採用し、安定した最適化を実現。RMSpropと二段階コサイン学習率スケジューリングを用いる。
• ジェットデータを変動する粒子数に対応するため、(η, φ, pT)相対空間における3次元点群として処理し、ゼロパディングとマスキングを適用する。
• 評価のためのグローバル指標として、インバリアント質量およびエネルギーフローポリノミアル（EFP）特徴量を統合する。

実験結果

リサーチクエスチョン

• RQ1 正規化流れは、点群データにおける複雑な相関をモデリングする能力に限界を示すが、高エネルギー物理学における生成モデリングの基盤として安定的かつ効果的であると言えるか？
• RQ2 トランスフォーマーに基づく精錬ネットワークの追加により、標準的な正規化流れに比べてジェット部分構造の相関モデリングが顕著に向上するか？
• RQ3 二つのトランスフォーマー符号化器を用いた敵対的訓練は、安定した訓練を実現できるか。また、既存のGANベースのモデルを上回る性能を発揮できるか？
• RQ4 MP-GANなどの最先端モデルと比較して、本手法は分布の類似性およびインバリアント質量やEFPなどの重要な物理学観測量において、どのように性能を発揮するか？
• RQ5 本手法の推論速度はどの程度か。計算効率の観点から、既存の生成モデルと比較してどうなるか？

主な発見

• 提案手法は、JetNetトップクォークデータセットにおいて、すべての指標でMP-GANおよびベースラインNFモデルを上回る最先端の性能を達成した。
• 精錬されたトランスフォーマーモデル（TF）はFPNDスコア0.08を達成し、ベースラインNF（VNF）の5.61と比べて顕著に優れており、複雑な相関のモデリング能力が優れていることが示された。
• 本モデルは1つのジェットを約7.6マイクロ秒で生成でき、A100 GPU上ではMP-GANモデルの4.6倍高速であった。
• 全粒子のη, φ, pTの周辺分布およびスケーリングされたジェット質量分布において、生成データと実データの間に強い一致が確認された。
• LSGANの訓練目的が最も安定した訓練ダイナミクスを示し、バニラGANおよび勾配ペナルティ付きWGANを上回った。
• インバリアント質量やEFPsなどのグローバル観測量においても高い性能を維持しており、重要な物理学的情報を保持していることが確認された。