[논문 리뷰] On fits to correlated and auto-correlated data

Mattia Bruno, Rainer Sommer|arXiv (Cornell University)|2022. 01. 01.

Particle physics theoretical and experimental studies인용 수 2

한 줄 요약

이 논문은 라티스 QCD에서 흔히 발생하는 상관관계 및 자기상관관계가 있는 데이터에 대한 적합도 검정의 p-값을 추정하는 강건한 방법을 제시한다. 특히 공분산 행렬의 역행렬이 악조건이거나 추정이 불가능한 경우에도 적용 가능하다. 정규화된 가중치 행렬을 χ² 통계량에 사용함으로써, 기대 χ² 및 그에 해당하는 p-값에 대해 해석적으로 다룰 수 있는 표현식을 유도하였으며, 이는 상관관계가 없는 경우나 SVD 정규화된 적합에서도 신뢰할 수 있는 통계적 추론을 가능하게 한다.

ABSTRACT

Observables in particle physics and specifically in lattice QCD calculations are often extracted from fits. Standard $\chi^2$ tests require a reliable determination of the covariance matrix and its inverse from correlated and auto-correlated data, a challenging task often leading to close-to-singular estimates. These motivate modifications of the definition of $\chi^2$ such as uncorrelated fits. We show how the goodness-of-fit measured by their p-value can still be estimated robustly for a broad class of such fits.

연구 동기 및 목표

• . 논문은 데이터가 상관관계가 있거나 자기상관관계가 있는 경우 라티스 QCD 및 입자물리학에서 신뢰할 수 있는 적합도 검정을 수행하는 데 도전하는 문제를 다룬다.
• . 표준 χ² 검정은 몬테카를로 시뮬레이션에서 통계 수가 제한적일 경우 공분산 행렬의 역행렬이 거의 특이행렬이 되는 경우에 실패한다.
• . 목적은 신뢰할 수 있는 공분산 역행렬이 필요하지 않은 강건하고 해석적으로 기반된 방법을 통해 적합의 p-값을 추정하는 데 있다.
• . 이 방법은 상관관계가 없는 적합, SVD 정규화된 적합, 그리고 실무에서 흔히 사용되는 기타 정규화 기법에 모두 적용 가능하다.
• . 정확한 공분산 추정이 불가능한 상황에서도 적합 결과의 통계적 타당성과 해석 가능성을 유지하는 것이 목표이다.

제안 방법

• . 저자는 공분산 행렬 C와 독립적으로 선택할 수 있는 대칭적이고 양의 정부호인 가중치 행렬 W를 사용하여 일반화된 χ² 통계량을 정의한다.
• . 진짜 매개변수에서의 편차에 대한 편미분 전개를 사용하여 근사적으로, 귀무가설 하에서 χ²(ā)의 기대값 ⟨χ²(ā)⟩을 유도한다.
• . 핵심 결과는 공분산 역행렬 C⁻¹이 악조건이 되더라도 유효한, 가중치 행렬 W와 모델의 야코비안에 의존하는 ⟨χ²(ā)⟩의 해석적 표현식이다.
• . 관측된 χ²와 유도된 기대값을 사용하여, 자유도가 데이터 포인트 수에서 피팅 매개변수 수를 뺀 값인 χ² 분포로부터 p-값을 추정한다.
• . 데이터 세트가 여러 개인 경우, 운동학적 불확실성, 가우시안 사전분포를 다루기 위해 데이터 벡터와 공분산 행렬을 확장하는 방식으로 방법을 확장한다.
• . 간단한 모형에서 수치적 검증을 수행하였으며, 실용적 사용을 위한 오픈소스 코드로도 구현하였다.

실험 결과

연구 질문

• RQ1 . 공분산 역행렬이 거의 특이행렬일 경우, 상관관계 또는 자기상관관계가 있는 데이터에 대한 적합에 대해 신뢰할 수 있는 p-값을 추정할 수 있는가?
• RQ2 . 진짜 C⁻¹ 대신 상관관계가 없는 적합 또는 SVD 정규화된 가중치를 사용할 경우 표준 χ² 검정은 여전히 타당하고 해석 가능한가?
• RQ3 . 정규화 또는 모델 불확실성이 존재할 경우, χ²의 기대값을 해석적으로 어떻게 계산할 수 있는가?
• RQ4 . 마르코프 체인 몬테카를로 샘플링로 인해 데이터가 자기상관관계를 가질 경우, 적합도를 강건하게 평가할 수 있는가?
• RQ5 . 대규모 라티스 QCD 시뮬레이션에서 전체 공분산 행렬을 추정할 수 없는 경우에도 통계적 타당성을 유지할 수 있는가?

주요 결과

• . 귀무가설 하에서 χ²의 기대값은 ⟨χ²(ā)⟩ = Nx − NA + O(1/N) 이다. 여기서 Nx는 데이터 포인트 수, NA는 피팅 매개변수 수이다.
• . 공분산 역행렬이 제공되지 않더라도, 자유도가 Nx − NA인 χ² 분포를 사용하여 p-값을 신뢰성 있게 추정할 수 있다.
• . 가중치 행렬이 데이터 구조와 일관성이 있는 한, 상관관계가 없는 적합(W² = diag(1/Cii)) 및 SVD 정규화된 적합에 대해서도 방법이 유효하다.
• . 운동학적 불확실성과 가우시안 사전분포는 데이터 벡터와 공분산 행렬을 적절히 확장함으로써 포함시킬 수 있다.
• . 단순한 모형에서의 수치적 테스트를 통해 도출된 p-값 추정의 강건성과 정확도를 확인하였다.
• . 이 방법은 오픈소스 코드(https://mbruno46.github.io/chiexp)로 구현되어 있어, 라티스 QCD 및 기타 상관관계가 있는 데이터를 다루는 분야에서 실용적으로 적용 가능하다.