[논문 리뷰] Machine learning and multivariate goodness of fit

Constantin Weißer, M. Williams|arXiv (Cornell University)|2016. 12. 20.

Nuclear Physics and Applications참고 문헌 1인용 수 6

한 줄 요약

이 논문은 기계학습(ML) 분류기들을 사용하여 고차원 다변량 적합도 검정 및 이중표본 검정 문제를 단변량 문제로 축소함으로써, 카이제곱 또는 콜모고로프-스미르노프와 같은 표준 검정의 적용을 가능하게 한다. 고차원(d > 3)에서 전통적인 카이제곱 검정보다 ML 기반 방법이 유의미하게 뛰어나며, 특히 특징 공학이 어려운 경우에 유리하다. 반면 특징 공학이 가능하고 유의미한 저차원 특징(예: 불변 질량)을 구성할 수 있는 경우 전통적 방법도 효과적이다.

ABSTRACT

Multivariate goodness-of-fit and two-sample tests are important components of many nuclear and particle physics analyses. While a variety of powerful methods are available if the dimensionality of the feature space is small, such tests rapidly lose power as the dimensionality increases and the data inevitably become sparse. Machine learning classifiers are powerful tools capable of reducing highly multivariate problems into univariate ones, on which commonly used tests such as $χ^2$ or Kolmogorov-Smirnov may be applied. We explore applying both traditional and machine-learning-based tests to several example problems, and study how the power of each approach depends on the dimensionality. A pedagogical discussion is provided on which types of problems are best suited to using traditional versus machine-learning-based tests, and on the how to properly employ the machine-learning-based approach.

연구 동기 및 목표

• 차원의 증가로 인해 기존의 다변량 적합도 검정 및 이중표본 검정의 검정력이 떨어지는 현상(차원의 저주)을 해결하기 위해.
• 다변량 문제를 단변량 문제로 축소하는 기계학습 기반 접근법을 제안하고 검증하여, 카이제곱 또는 콜모고로프-스미르노프와 같은 잘 알려진 검정의 적용을 가능하게 하기 위해.
• 핵물리학 및 입자물리학 분석에서 ML 기반 검정을 언제이고 어떻게 적절히 적용할 수 있는지에 대해 물리학자들을 위한 명확하고 교육적인 가이드를 제공하기 위해.
• 다양한 차원 수준과 문제 유형에서 ML 기반 방법과 전통적인 적응형 구간 카이제곱 검정 간의 통계적 검정력을 비교하기 위해.
• 간단한 저차원 특징(예: 불변 질량)으로는 모든 관련 정보를 포괄할 수 없는 고차원 환경에서 ML 방법이 우월하다는 것을 입증하기 위해.

제안 방법

• 두 데이터 샘플 간 또는 데이터와 시험 확률밀도함수(pdf) 간을 구분할 수 있도록 기계학습 분류기(예: 랜덤 포레스트, XGBoost)를 훈련한다.
• 분류기의 출력 점수(예: 신호 클래스에 속할 확률)를 단변량 검정 통계량으로 사용한다.
• 분류기 출력 분포에 표준 단변량 적합도 검정(예: 카이제곱 또는 콜모고로프-스미르노프 검정)을 적용하여 p-값을 계산한다.
• 다양한 차원 수와 신호 강도에서 귀무가설에서의 편차를 탐지할 수 있는 능력을 비교함으로써 통계적 검정력을 평가한다.
• 데이터 생성 과정에 체계적 불확실성을 통합하거나 교차검증 기법을 사용하여 훈련 및 평가 과정에 체계적 불확실성을 포함시킨다.
• 예시 문제를 통해 성능를 비교한다: 일차원 진동 모델, 고차원 다변량 정규분포, 그리고 8차원 운동량 특징을 가진 실제 입자 붕괴 문제.

실험 결과

연구 질문

• RQ1 차원 수가 증가함에 따라 ML 기반 적합도 검정의 통계적 검정력은 전통적인 적응형 구간 카이제곱 검정과 비교해 어떻게 되는가?
• RQ2 어떤 종류의 다변량 문제에서 ML 기반 접근법이 전통적 방법을 능가하는가?
• RQ3 간단한 저차원 특징(예: 불변 질량)으로 신호를 포괄할 수 없는 고차원 데이터에서 ML 기반 방법이 편차를 효과적으로 탐지할 수 있는가?
• RQ4 물리 분석에서 ML 기반 적합도 검정에 체계적 불확실성을 어떻게 적절히 통합할 수 있는가?
• RQ5 인간 중심의 특징 공학(예: 불변 질량 사용)이 엔드 투 엔드 ML 기반 접근법보다 여전히 우월한 조건은 무엇인가?

주요 결과

• 차원 수 d ≤ 3일 경우, 적응형 구간 카이제곱 검정과 ML 기반 방법의 검정력은 유사하다.
• d > 3일 경우, 전통적 방법이 차원의 저주로 인해 성능이 저하되므로 ML 기반 방법이 유의미하게 뛰어나다.
• 8차원 운동량 특징을 가진 입자 붕괴 예제에서, 불변 질량 분포에 대한 일차원 카이제곱 검정이 전체 8차원 공간에서 훈련된 ML 기반 방법보다 우월하다. 이는 전문가 중심의 특징 공학의 힘을 보여준다.
• 이러한 정보성 있는 저차원 특징이 존재하지 않을 경우, ML 기반 방법이 전통적 방법보다 더 높은 검정력을 가진다.
• 특히 검출기 응답 특징을 포함할 경우, 전통적 검정이 검정력을 상실하는 고차원 문제에 대해 ML 기반 접근법은 강건하고 실용적이다.
• 이 연구는 특징 축소가 직관적이지 않은 고차원 복잡한 물리 문제에서 ML 기반 검정이 전통적 방법의 타당하고 종종 열등한 대안임을 확인한다.