[論文レビュー] StatPatternRecognition: A C++ Package for Statistical Analysis of High Energy Physics Data

I. Narsky|ArXiv.org|Jul 20, 2005

Computational Physics and Python Applications参考文献 18被引用数 32

ひとこと要約

StatPatternRecognitionは、高エネルギー物理学（HEP）のデータ解析を目的としたC++パッケージであり、線形・線形判別分析、意思決定木、AdaBoost、PRIM、ニューラルネットワークなどの統計的分類器を実装している。最小限の依存関係で効率的な信号・背景分離を可能にし、B→γlν崩壊解析においても、単純なデータにもかかわらず、AdaBoostと意思決定木、および組み合わせ器を用いた手法が最高の信号の有意性を達成した。

ABSTRACT

Modern analysis of high energy physics (HEP) data needs advanced statistical tools to separate signal from background. A C++ package has been implemented to provide such tools for the HEP community. The package includes linear and quadratic discriminant analysis, decision trees, bump hunting (PRIM), boosting (AdaBoost), bagging and random forest algorithms, and interfaces to the standard backpropagation neural net and radial basis function neural net implemented in the Stuttgart Neural Network Simulator. Supplemental tools such as bootstrap, estimation of data moments, and a test of zero correlation between two variables with a joint elliptical distribution are also provided. The package offers a convenient set of tools for imposing requirements on input data and displaying output. Integrated in the BaBar computing environment, the package maintains a minimal set of external dependencies and therefore can be easily adapted to any other environment. It has been tested on many idealistic and realistic examples.

研究の動機と目的

• 高エネルギー物理学（HEP）のデータ解析に特化した、高度な統計的パターン認識ツールを統合的・一貫的・ポータブルなC++フレームワークとして提供すること。
• 他の科学分野で広く使われている多次元解析手法が、HEP分野ではまだ十分に活用されていないという点を解決し、標準的で相互運用可能なコードの欠如に対処すること。
• AdaBoost、意思決定木、ニューラルネットワークなどの多様な分類器を、同じデータに対して一貫した入出力処理で簡単に比較・適用できるようにすること。
• ニューラルネットワークのトレーニングフリー推論とモジュラーで良好にドキュメント化された実装を統合することで、高度な分類技術へのアクセス障壁を低減すること。

提案手法

• Fisherの手法を用いて最適な線形分離を実現する線形および二次判別分析を実装している。
• 再帰的分割を用いた意思決定木をサポートし、末端ノードを信号純度の高い順に並べることで分類性能を向上させている。
• AdaBoostは、弱学習器（2分岐または意思決定木）を組み合わせて強い分類器を構築するアンサンブル手法として実装されており、適応的重み付けが行われる。
• PRIM（Patient Rule-Induction Method）は、多次元データにおける信号の有意性が局所的に高まる領域を特定するためのバンプハント手法として用いられている。
• ニューラルネットワークの推論は、シュトゥーディー・ニューラルネットワーク・シミュレータ（SNNS）とインターフェース接続されており、バックプロパゲーションや径路基底関数ネットワークの事前学習済みモデルを再学習なしで利用可能である。
• ブートストラップリサンプリング、モーメント推定、楕円分布下でのゼロ相関の統計的仮説検定といった追加ツールも提供され、堅牢なデータ解析を支援している。

実験結果

リサーチクエスチョン

• RQ1 統合的C++ソフトウェアパッケージは、高エネルギー物理学における多次元統計的分類器のアクセス可能性と比較可能性をどのように向上させるか？
• RQ2 信号対背景分離が限定的である現実的なHEPデータにおいて、AdaBoost、意思決定木、PRIMといった多様な分類器の相対的な性能はいかほどか？
• RQ3 AdaBoostと意思決定木を組み合わせた柔軟な分類器は、直交カットや基本的判別分析といった単純な手法に比べて、HEP解析でどれほど優れているか？
• RQ4 検証データの導入は、AdaBoostのようなアンサンブル手法におけるハイパーパrameter最適化にどの程度影響を与えるか？
• RQ5 モジュラーで外部依存関係を最小限に抑えたC++パッケージは、B A B ARのような既存のHEPコンピューティング環境に効果的に統合可能か？

主な発見

• B→γlν崩壊解析において、意思決定木を用いたAdaBoostおよび背景サブクラス分類器のAdaBoostベースのコンビナトリが、それぞれ523.0および1057.1の最高の信号の有意性を達成し、単純な手法を上回った。
• 信号領域に一意の最適解が存在しなかったことから、複数の分類器設定が同等の信号の有意性を達成可能であることが示され、堅牢な検証の重要性が強調された。
• 2分岐を用いたAdaBoostは、学習サンプルと検証サンプルの間で一貫した出力分布を示しており、高いロバストネスを示し、一部の状況では検証の省略が安全に行えることを示した。
• トレーニング時間は大きく異なった：高速な分類器（例：意思決定木、バンプハント）は1.8 GHz CPUで数分で完了したが、複雑なAdaBoostアンサンブルはバッチノードで4～8時間かかった。
• データの単純さにもかかわらず、AdaBoostと意思決定木を組み合わせた強力な分類器は、従来手法に比べて顕著な改善を示した。これは、複雑で多次元的な解析においてもその価値があることを示唆している。
• パッケージはB A B ARコンピューティング環境に正常に統合され、外部依存関係を最小限に抑えつつ、他のHEPフレームワークへの容易な適応が可能であった。