[논문 리뷰] Optimization of Signal Significance by Bagging Decision Trees

I. Narsky|CaltechAUTHORS (California Institute of Technology)|2005. 07. 21.

Particle physics theoretical and experimental studies인용 수 6

한 줄 요약

이 논문은 고에너지물리학(HEP) 데이터 분석에서 핵심 성능 지표인 신호의 통계적의미를 직접 최적화하는 배깅 기반의 의사결정트리 알고리즘을 제안한다. 기존의 지니 지수와 같은 전통적 기준 대신 부트스트랩 표본을 사용해 각 트리를 학습함으로써 통계적의미를 최대화한다. B BaBar 실험에서 B→γeν 붕괴 탐색에서 이 방법은 AdaBoost에 비해 14% 향상된 결과를 보였으며, 신경망 및 표준 부스팅 기반 분류기들보다도 뛰어난 성능을 보였다.

ABSTRACT

An algorithm for optimization of signal significance or any other classification figure of merit suited for analysis of high energy physics (HEP) data is described. This algorithm trains decision trees on many bootstrap replicas of training data with each tree required to optimize the signal significance or any other chosen figure of merit. New data are then classified by a simple majority vote of the built trees. The performance of this algorithm has been studied using a search for the radiative leptonic decay B->gamma l nu at BaBar and shown to be superior to that of all other attempted classifiers including such powerful methods as boosted decision trees. In the B->gamma e nu channel, the described algorithm increases the expected signal significance from 2.4 sigma obtained by an original method designed for the B->gamma l nu analysis to 3.0 sigma.

연구 동기 및 목표

• 신호의 통계적의미와 같은 HEP 전용 성능 지표를 직접 최적화하는 분류기가 부족한 문제를 해결하기 위해.
• 의사결정트리를 부트스트랩 복제본에 기반해 학습시켜 신호-배경 분리 성능을 향상시키기 위해.
• 기존의 AdaBoost나 신경망과 같은 분류기들보다 뛰어난 성능을 보이는 안정적이고 효율적이며 해석 가능한 통계적의미 최적화 방법을 개발하기 위해.
• HEP 분석가들이 사용할 수 있도록 StatPatternRecognition 패키지에 무료로 제공되는 구현체를 제공하기 위해.

제안 방법

• 학습 데이터의 부트스트랩 복제본에 기반해 다수의 의사결정트리를 학습시키며, 각 트리는 기존의 지니 지수와 같은 기준 대신 통계적의미를 최대화하도록 최적화한다.
• 모든 트리의 예측 결과를 다수결정(수학적 합계로 표현된 수용 확률의 합)을 통해 통합하여 새로운 사건을 분류한다.
• 과적합 방지를 위해 최소 종단 노드 크기(100개의 사건)를 검증 샘플을 사용해 조정한다.
• 실제 HEP 분석에 적용: B BaBar 실험에서 11개의 물리적 변수를 사용해 B→γlν 붕괴 탐색을 수행한다.
• 시험 데이터를 사용해 성능을 평가하고, AdaBoost, 신경망, 다양한 최적화 기준을 사용한 의사결정트리 등 여러 분류기 간의 통계적의미를 비교한다.
• 변수 부분 샘플링을 적용한 랜덤 포레스트와 같은 확장 기법을 탐색하였으며, 이 경우 기존의 표준 배킹 방법 대비 1%의 미미한 성능 향상만을 보였다.

실험 결과

연구 질문

• RQ1 의사결정트리를 직접적으로 통계적의미를 최적화하도록 학습시키는 배킹 알고리즘이 HEP 데이터 분석에서 기존의 표준 분류기들보다 뛰어난 성능을 보일 수 있는가?
• RQ2 AdaBoost나 신경망과 같은 중간 단계 분류기를 통해 간접적으로 최적화하는 것과 비교해, 직접적으로 통계적의미를 최적화하는 것이 어떤가?
• RQ3 통계적의미를 트리 분할 기준으로 사용할 경우, 기존의 지니 지수와 같은 전통적 기준을 사용할 때와 비교해 어떤 영향을 미치는가?
• RQ4 동일한 최적화 기준을 사용할 때, 부스팅 대비 배킹을 통해 트리를 조합하는 것이 통계적의미 향상에 더 큰 기여를 하는가?
• RQ5 고차원 HEP 데이터에서 신경망이 수렴하지 못하는 상황에서도 이 방법이 안정적이고 효율적인가?

주요 결과

• 제안된 배킹 알고리즘은 B→γeν 채널에서 3.0σ의 통계적의미를 달성하여 원래 방법(2.4σ) 대비 24% 향상된 성능을 보였다.
• B→γeν 채널에서 AdaBoost에 비해 의사결정트리가 지니 지수를 최적화하는 방식으로 14% 향상된 통계적의미를 기록했다.
• 부스팅 대비 배킹을 사용한 것이 성능 향상에 크게 기여하였으며, 지니 지수 최적화 트리를 사용한 배킹 프레임워크에서 통계적의미가 9% 높게 나타났다.
• 변수 부분 샘플링을 적용한 랜덤 포레스트 버전은 표준 배킹 방법 대비 1%의 미미한 성능 향상만을 보였다.
• 이 방법은 제곱형 또는 지수형 오차 기준으로 많은 신호 사건을 잘못 분류했음에도 불구하고, 통계적의미를 최대화하는 영역을 성공적으로 식별했다.
• 이 방법은 안정적이고 효율적이었으며, 학습 시간이 AdaBoost와 유사했고, 고차원 환경에서 수렴하지 못하는 불안정한 신경망보다 뛰어난 성능을 보였다.