[論文レビュー] Optimization of Signal Significance by Bagging Decision Trees

I. Narsky|CaltechAUTHORS (California Institute of Technology)|Jul 21, 2005

Particle physics theoretical and experimental studies被引用数 6

ひとこと要約

本論文では、高エネルギー物理学（HEP）データ解析における重要な指標である信号の有意水準を直接最適化する、バギングに基づく意思決定木アルゴリズムを提案する。各木はブートストラップ標本上で訓練され、従来のジニ指数などの基準ではなく、有意水準を最大化するように最適化される。B BaBarにおけるB→γeν崩壊探索において、この手法はAdaBoostと意思決定木を用いた手法よりも14%の信号有意水準の向上を達成し、ニューラルネットワークや標準的なブースティング手法を上回る性能を示した。

ABSTRACT

An algorithm for optimization of signal significance or any other classification figure of merit suited for analysis of high energy physics (HEP) data is described. This algorithm trains decision trees on many bootstrap replicas of training data with each tree required to optimize the signal significance or any other chosen figure of merit. New data are then classified by a simple majority vote of the built trees. The performance of this algorithm has been studied using a search for the radiative leptonic decay B->gamma l nu at BaBar and shown to be superior to that of all other attempted classifiers including such powerful methods as boosted decision trees. In the B->gamma e nu channel, the described algorithm increases the expected signal significance from 2.4 sigma obtained by an original method designed for the B->gamma l nu analysis to 3.0 sigma.

研究の動機と目的

• 信号の有意水準のようなHEP特有の指標を直接最適化する分類器の不足に対処すること。
• ブートストラップリサンプリングに基づいて意思決定木を訓練し、信号の有意水準を最大化することで、高エネルギー物理学における信号とバックグラウンドの分離を向上させること。
• 既存の分類器（例：AdaBoost やニューラルネットワーク）を上回る安定性・効率性・解釈可能性を備えた有意水準最適化手法を構築すること。
• HEPアナリストが利用可能な自由な実装をStatPatternRecognitionパッケージに提供すること。

提案手法

• 訓練データのブートストラップリサンプルに複数の意思決定木を訓練し、従来のジニ指数などの基準ではなく、信号の有意水準を最大化するように最適化する。
• 全木の予測を多数決（受容率の代数的合計）により統合し、新しいイベントを分類する。
• 過学習と性能のバランスを取るために、検証サンプルを用いて最小端末ノードサイズ（100イベント）を調整する。
• 実際のHEP解析に応用：11個の物理的変数を用いたB BaBarにおけるB→γlν崩壊探索にこの手法を適用する。
• テストデータを用いて性能を評価し、AdaBoost、ニューラルネットワーク、および異なる最適化基準を用いた意思決定木など、複数の分類器との信号有意水準を比較する。
• 変数サブサンプリングを導入したランダムフォレストの拡張も検討し、わずか1%のわずかな改善にとどまった。

実験結果

リサーチクエスチョン

• RQ1 信号の有意水準を直接最適化するように訓練されたバギングアルゴリズムが、HEPデータ解析において標準的な分類器を上回る性能を示せるか？
• RQ2 信号の有意水準を直接最適化する手法と、AdaBoost やニューラルネットワークのような中間分類器を経由する間接的最適化手法とを比較した場合、どちらが優れるか？
• RQ3 信号の有意水準を木の分割基準として用いる場合と、ジニ指数などの従来の基準を用いる場合とを比較した場合、どのような差が生じるか？
• RQ4 同じ最適化基準を用いた場合、ブースティングと比較してバギングによる木の結合が、信号の有意水準向上にどの程度寄与するか？
• RQ5 高次元のHEPデータにおいて、ニューラルネットワークが収束しない場合でも、この手法は安定的かつ効率的に動作するか？

主な発見

• 提案されたバギング手法は、B→γeνチャネルで3.0σの信号有意水準を達成し、元の手法（2.4σ）と比較して24%の向上を示した。
• B→γeνチャネルにおいて、ジニ指数を最適化するAdaBoostと意思決定木を用いた手法よりも、14%の信号有意水準の向上を達成した。
• ブースティングではなくバギングを用いることで、性能向上に顕著な寄与があり、ジニ指数最適化の木をバギングフレームワークで用いた場合と比較して、信号有意水準が9%高い結果となった。
• 変数サブサンプリングを導入したランダムフォレストバージョンは、標準的なバギング手法と比較してわずか1%のわずかな改善にとどまった。
• 二乗誤差や指数誤差の観点から多数の信号イベントを誤分類しても、この手法は信号有意水準を最大化する領域を的確に特定できた。
• この手法は安定的かつ効率的であり、トレーニング時間はAdaBoostと同等であった。また、高次元設定において収束しない不安定なニューラルネットワークを上回る性能を示した。