[論文レビュー] Enhanced Higgs to $τ^+τ^-$ Searches with Deep Learning

Pierre Baldi, Peter Sadowski+1 more|arXiv (Cornell University)|Oct 13, 2014

Algorithms and Data Compression被引用数 3

ひとこと要約

本論文では、LHCにおけるヒッグス粒子がタウレプトンに崩壊する過程の探索を向上させるために、ベイズ的ハイパーパramータ最適化を用いた深層ニューラルネットワークの使用を提案する。低レベルの検出器変数から複雑な特徴を自動で学習することで、発見の有意水準を25%向上させ、追加のデータ収集なしに25%のデータ量増加と同等の効果を達成した。

ABSTRACT

The Higgs boson is thought to provide the interaction that imparts mass to the fundamental fermions, but while measurements at the Large Hadron Collider (LHC) are consistent with this hypothesis, current analysis techniques lack the statistical power to cross the traditional 5$σ$ significance barrier without more data. \emph{Deep learning} techniques have the potential to increase the statistical power of this analysis by \emph{automatically} learning complex, high-level data representations. In this work, deep neural networks are used to detect the decay of the Higgs to a pair of tau leptons. A Bayesian optimization algorithm is used to tune the network architecture and training algorithm hyperparameters, resulting in a deep network of eight non-linear processing layers that improves upon the performance of shallow classifiers even without the use of features specifically engineered by physicists for this application. The improvement in discovery significance is equivalent to an increase in the accumulated dataset of 25\%.

研究の動機と目的

• ヒッグス粒子がタウレプトンに崩壊する過程の探索における統計的パワーを向上させること。現状、5σの発見閾値に達していない。
• 高エネルギー物理学における従来の浅い機械学習モデルの限界を、深層ニューラルネットワークを活用することで克服すること。
• 分類性能を最大化するために、ベイズ最適化を用いて深層ネットワークのハイパーパramータを体系的に最適化すること。
• 低レベルの検出器変数から学習した深層ネットワークが、物理学者が手作業で設計した高レベル特徴量から学習した浅いネットワークを上回るか、同等の性能を発揮するかどうかを評価すること。
• 深層学習が、物理学者が手作業で導出した特徴と同等の識別的パターンを自動で学習できるかどうかを特定すること。

提案手法

• 8つの非線形隠れ層を有する深層ニューラルネットワークを、ミニバッチサイズ100の確率的勾配降下法と適応的モーメンタムを用いて学習した。
• 6つのハイパーパramータ（層数、隠れユニット数、学習率の減衰、初期および最終モーメンタム、モーメンタム飽和までのエポック数）を最適化するために、ガウス過程モデルを用いたベイズ最適化を用いた。
• 8000万件のシミュレート済みイベントからなる学習データは正規化され、歪度が1.0を超える特徴量には歪度補正付き対数変換が適用された。
• 隠れ層には整流線形ユニット（ReLU）を使用し、出力層にはロジスティック関数、二値分類の損失関数には交差エントロピーを用いた。信号（H→τ⁺τ⁻）と背景（Z→τ⁺τ⁻）を分類する。
• 低レベル変数から学習した深層ネットワークと、物理学者が設計した高レベル特徴量から学習した浅いネットワークを比較した。
• 計算はGPU加速ハードウェア上でPylearn2およびTheanoを用い、ベイズ最適化にはSpearmintを用いた。

実験結果

リサーチクエスチョン

• RQ1 低レベルの検出器変数から学習した深層ニューラルネットワークは、高レベルの物理学者が設計した特徴量から学習した浅いネットワークを上回る性能を示すのか？
• RQ2 ハイパーパramータのベイズ最適化は、ヒッグス粒子崩壊の発見有意水準に顕著な向上をもたらすのか？
• RQ3 この高エネルギー物理学分類タスクにおいて、最適な深層ネットワークの深さとアーキテクチャは何か？
• RQ4 深層ネットワークは、手作業で作成された特徴量に埋め込まれた識別的情報のどの程度を自動で学習できるのか？
• RQ5 ドロップアウトやノイズ注入といった正則化技術は、この大規模データ環境下で性能向上に寄与するのか？

主な発見

• 最良の深層ネットワークは8層の隠れ層と1層あたり274ユニットを有し、データセットサイズを25%増加させた場合と同等の発見有意水準の向上を達成した。
• 低レベル変数から学習した深層ネットワークは、高レベル特徴量から学習した浅いネットワークを上回った。これは、関連する識別的パターンを自動で学習できることを示唆している。
• ベイズ最適化アルゴリズムは8層を最適と特定した。これは、最良の性能を得るにはより深いアーキテクチャが必要であることを示している。
• 最良の浅いネットワークは1層の隠れ層（693ユニット）、初期学習率0.006、一定モーメンタム0.5を用いた。
• ドロップアウトやノイズ注入といった正則化技術は性能向上に寄与しなかった。これは、学習データセットが非常に大きいため過学習のリスクが低いためと考えられる。
• 発見有意水準の向上は、25%のデータ増加と同等と測定された。これは、分析における顕著な効率向上を示している。