[論文レビュー] Turbo-Sim: a generalised generative model with a physical latent space

G. Quétant, Mariia Drozdova+3 more|arXiv (Cornell University)|Dec 20, 2021

Chaos-based Image/Signal Encryption被引用数 10

ひとこと要約

Turbo-Simは、情報理論的原則に基づき、データ空間と潜在空間間の相互情報量を最大化する一般化された生成的自己符号化モデルフレームワークを提案する。数学的に解釈可能な学習損失と柔軟なアーキテクチャ選択を可能にし、明示的な物理的制約がなくても、オートマトンの生成的物理観測量や元の物理的対象の再構築において、OTUSなどの最先端手法を凌駆する性能を発揮する。

ABSTRACT

We present Turbo-Sim, a generalised autoencoder framework derived from principles of information theory that can be used as a generative model. By maximising the mutual information between the input and the output of both the encoder and the decoder, we are able to rediscover the loss terms usually found in adversarial autoencoders and generative adversarial networks, as well as various more sophisticated related models. Our generalised framework makes these models mathematically interpretable and allows for a diversity of new ones by setting the weight of each loss term separately. The framework is also independent of the intrinsic architecture of the encoder and the decoder thus leaving a wide choice for the building blocks of the whole network. We apply Turbo-Sim to a collider physics generation problem: the transformation of the properties of several particles from a theory space, right after the collision, to an observation space, right after the detection in an experiment.

研究の動機と目的

• 敵対的自己符号化器およびGANの一般化により、粒子物理学における生成的モデリングの統一的で数学的に解釈可能なフレームワークを構築すること。
• 自己符号化器に基づく生成的モデルにおける損失設計とネットワーク構造の分離を可能にすることで、柔軟なアーキテクチャ選択を実現すること。
• モンテカルロシミュレーションに依存せずに、理論空間（潜在変数）から観測空間（データ）への変換を学習することで、コライダー物理学イベントの生成を改善すること。
• 生成データからトップクォークやWボソンの質量といった物理的量をどれだけ正確に再構築できるかを評価すること。
• アンフォールディングタスク、すなわち観測された検出器データから潜在的な物理的パラメータを推定する能力の可能性を検討すること。

提案手法

• 入力データXと潜在変数Z間の相互情報量I(X;Z)の下界を変分推論を用いて最大化することで、フレームワークはXとZ間の相互情報量を最大化する。
• 偽逆性を確保し、生成と推論の両方の学習を改善するために、直接方向（X → Z）と逆方向（Z → X）の両方の学習を実施する。
• 相互情報量の下界は、AAEやGANに類似した項に分解され、敵対的損失と再構成損失を含み、ハイパーパrameter αを用いて重みを調整可能である。
• エンコーダ qϕ(z|x) とデコーダ pθ(x|z) は、すべての層が全結合なニューラルネットワークとして実装され、Wasserstein GANスタイルの訓練に向けた識別器が併用される。
• ノイズの追加による確率性を導入しているが、将来的にはEigenGANと同様のレイヤーワイズノイズを採用することで、より良い制御が可能になると予想される。
• モデルはコライダーイベントデータ上でエンドツーエンドに訓練され、損失項はインvariant質量などの物理的観測量の再構築を最適化するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 相互情報量の最大化から導かれる統一的生成モデルは、既存の自己符号化器およびGANフレームワークを包含・解釈できるか？
• RQ2 OTUSなどの最先端モデルと比較して、Turbo-Simはどれほどリアルなコライダー物理学イベントを生成できるか？
• RQ3 明示的な物理的制約がなくても、Turbo-SimはトップクォークやWボソンといった物理的対象をどれほど正確に再構築できるか？
• RQ4 直接方向と逆方向の両方向での対称的訓練は、生成およびアンフォールディングタスクの両方におけるモデルの性能を向上させるか？
• RQ5 基本的なノイズ注入を伴う単純な全結合アーキテクチャは、高エネルギー物理学分野におけるより複雑なモデルに比べて、競争力のある性能を達成できるか？

主な発見

• Turbo-Simは、X空間（観測空間）におけるリアルな観測量の生成においてOTUSを上回り、主ジェットのz運動量について、Kolmogorov-Smirnov距離が2.89にまで低下するのに対し、OTUSは3.78であった。
• トップクォーク対質量については2.97のKS距離を達成し、OTUSの15.8よりも顕著に優れている。これは、高レベルの物理的対象の再構築性能が優れていることを示している。
• 運動量保存則や質量不変性といった物理的制約を明示的に制御していないにもかかわらず、Turbo-SimはWボソンやトップクォークの質量を正確に再構築しており、これらの相関関係を暗黙的に学習していることが裏付けられている。
• 生成的モデリングの主たる目的であるX空間（観測空間）において、Turbo-Simは優れた性能を示している。一方、OTUSはZ空間（潜在空間）での性能がより優れている。
• 対称的アーキテクチャのおかげで、アンフォールディングタスクへの応用可能性が示唆されるが、現在のZ → X推論性能はOTUSに劣っており、観測データの高い確率的性質が原因と予想される。
• 表現力の高いアーキテクチャとレイヤーワイズノイズ注入（例：EigenGANスタイル）を導入することで、将来的に生成と推論の両方の性能ギャップを埋められると予想される。