[논문 리뷰] Approximating Likelihood Ratios with Calibrated Discriminative Classifiers

K. Cranmer, Juan Pavez외 1명|arXiv (Cornell University)|2015. 06. 06.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 131

한 줄 요약

이 논문은 가능도 함수가 계산이 불가능하거나 이용할 수 없는 경우, 특히 고에너지 물리학에서 흔한 복잡한 시뮬레이터 환경에서 일반화된 가능도 비율 검정을 근사하기 위한 방법을 제안한다. 핵심 기여는 가능도 비율이 단조성 차원 축소에 대해 불변임을 보여주며, 이는 직접 가능도 평가나 사전 분포 없이도 일변도 분류기 점수를 통해 효율적인 근사를 가능하게 한다.

ABSTRACT

In many fields of science, generalized likelihood ratio tests are established tools for statistical inference. At the same time, it has become increasingly common that a simulator (or generative model) is used to describe complex processes that tie parameters $θ$ of an underlying theory and measurement apparatus to high-dimensional observations $\mathbf{x}\in \mathbb{R}^p$. However, simulator often do not provide a way to evaluate the likelihood function for a given observation $\mathbf{x}$, which motivates a new class of likelihood-free inference algorithms. In this paper, we show that likelihood ratios are invariant under a specific class of dimensionality reduction maps $\mathbb{R}^p \mapsto \mathbb{R}$. As a direct consequence, we show that discriminative classifiers can be used to approximate the generalized likelihood ratio statistic when only a generative model for the data is available. This leads to a new machine learning-based approach to likelihood-free inference that is complementary to Approximate Bayesian Computation, and which does not require a prior on the model parameters. Experimental results on artificial problems with known exact likelihoods illustrate the potential of the proposed method.

연구 동기 및 목표

• 가능도 함수가 계산이 불가능하거나 이용할 수 없는 경우, 특히 고에너지 물리학에서 흔한 복잡한 시뮬레이터에서 일반화된 가능도 비율 검정을 수행하는 데 도전하는 문제를 해결하기 위해.
• 모델 매개변수에 대한 사전 분포가 필요 없는 범주형 추론 프레임워크 내에서, 근사 베이지안 계산(ABC)의 기계학습 기반 대안을 개발하기 위해.
• 가능도 비율이 스칼라 점수로의 단조성 차원 축소에 대해 불변임을 보여주는 이론적 기반을 확립하여, 분류를 통한 효율적 근사를 가능하게 하기 위해.
• 고차원 데이터 환경에서 보정된 판별 분류기가 일반화된 가능도 비율 검정 통계량의 효과적인 대체재가 될 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 고차원 데이터 공간 ℝᵖ에서 일변도 점수 공간 ℝ로의 단조성 변환에 대해 가능도 비율이 불변임을 활용하여, 복잡한 가능도 비율 추정 문제를 단변량 밀도 추정 문제로 축소시킨다.
• 두 매개변수 설정(θ₀ 및 θ₁)에서 시뮬레이션된 데이터를 기반으로 판별 분류기를 훈련하여, 가능도 비율 정보를 유지하는 스칼라 점수 s(𝐱)를 생성한다.
• 가능도 비율은 분류기 점수의 단변량 밀도 비율을 사용하여 근사한다: λ′(𝒟;θ₀,θ₁) = ∏ₓ∈𝒟 pᵤ(u=s(𝐱)|θ₀) / pᵤ(u=s(𝐱)|θ₁), 여기서 u는 분류기 출력이다.
• 보정은 특정 θ 값에서 시뮬레이터로부터 데이터를 생성하고, 커널 밀도 추정 또는 유사 방법을 사용하여 단변량 밀도 pᵤ(u|θ)를 추정함으로써 수행된다.
• 이 방법은 분류기 훈련(분류 성능 향상)과 보정(통계적 정확도 향상)을 분리하여 각각 별도로 최적화할 수 있도록 하며, 독립적인 최적화가 가능하다.
• 복합 가설로의 확장을 위해 검정 통계량을 분류기 점수의 함수로 간주함으로써, 사전 분포 없이도 범주형 추론이 가능하게 한다.

실험 결과

연구 질문

• RQ1 가능도 함수가 계산이 불가능한 경우, 판별 분류기를 사용하여 일반화된 가능도 비율 통계량을 근사할 수 있는가?
• RQ2 가능도 비율이 고차원 데이터에서 일변도 점수로의 단조성 차원 축소에 대해 불변인가? 이는 효율적 근사를 가능하게 하는가?
• RQ3 보정된 분류기가 모델 매개변수에 대한 사전 분포가 필요 없이, 가능도 자유 추론 환경에서 근사 베이지안 계산(ABC)의 유효한 대체재가 될 수 있는가?
• RQ4 정확한 가능도가 알려진 시뮬레이션 환경에서, 분류기 기반 가능도 비율 근사의 성능은 정확한 가능도 비율 검정과 비교해 어떻게 되는가?

주요 결과

• 가능도 비율은 ℝᵖ에서 ℝ로의 단조성 변환에 대해 불변이므로, 고차원 데이터를 스칼라 분류기 점수로 축소함으로써 통계적 능력 손실 없이도 가능하다.
• 제안된 방법은 보정된 분류기 점수를 사용하여 가능도 자유 환경에서 일반화된 가능도 비율 검정을 수행할 수 있도록 하며, 직접 가능도 평가 없이도 가능하다.
• 정확한 가능도가 알려진 인위적 문제에 대한 실험 결과는 분류기 기반 근사가 진짜 가능도 비율과 매우 유사함을 보여주며, 높은 정확도와 신뢰성을 입증한다.
• 이 방법은 범주형 추론과 호환되며, 모델 매개변수에 대한 사전 분포를 설정할 필요가 없어, 복잡한 시뮬레이터에서의 고전적 통계 검정에 적합하다.
• 이 접근법은 판별적 특징 학습과 보정을 분리하여, 최신 분류 모델을 사용할 수 있고, 점수의 적절한 밀도 추정을 통해 통계적 타당성을 보장할 수 있다.