[논문 리뷰] Chernoff Index for Cox Test of Separate Parametric Families

Xiaoou Li, Jingchen Liu외 1명|arXiv (Cornell University)|2016. 06. 27.

Statistical Methods and Inference참고 문헌 14인용 수 4

한 줄 요약

이 논문은 비포함된 파라미터 모형에서, 대규모 편차 프레임워크 하에서 일반화된 우도 비율 검정에 대한 초월 지수(Chernoff index)—점근 상대 효율성의 척도—를 유도한다. 최대 제1종 및 제2종 오류 확률의 정확한 지수 감쇠율을 확립하여, 사전에 어떤 가설도 선호하지 않을 경우 모형 선택을 위한 결정적인 효율성 기준을 제공한다.

ABSTRACT

The asymptotic efficiency of a generalized likelihood ratio test proposed by Cox is studied under the large deviations framework for error probabilities developed by Chernoff. In particular, two separate parametric families of hypotheses are considered [Cox, 1961, 1962]. The significance level is set such that the maximal type I and type II error probabilities for the generalized likelihood ratio test decay exponentially fast with the same rate. We derive the analytic form of such a rate that is also known as the Chernoff index [Chernoff, 1952], a relative efficiency measure when there is no preference between the null and the alternative hypotheses. We further extend the analysis to approximate error probabilities when the two families are not completely separated. Discussions are provided concerning the implications of the present result on model selection.

연구 동기 및 목표

• 비포함된 파라미터 가족에 대해 초월 프레임워크 하에서 일반화된 우도 비율 검정의 점근적 효율성을 확립하기 위해.
• 시험 통계량이 랜덤 함수의 최대값의 비율을 포함할 때 복합 가설에 대한 초월 지수를 계산하는 데 열려 있는 문제를 해결하기 위해.
• 제1종 및 제2종 오류의 지수 감쇠율이 동일한 조건 하에서, null 및 대립 가설 간 사전 선호도가 없을 경우 상대 효율성 척도를 제공하기 위해.
• 두 파라미터 가족이 완전히 분리되어 있지 않은 경우에도 분석을 확장하여 근사 오류 확률에 대한 통찰을 제공하기 위해.
• 비포함된 설정에서 일반화된 우도 비율 검정의 상대 효율성을 정량화하여 모형 선택을 지원하기 위해.

제안 방법

• 대규모 편차 이론을 일반화된 우도 비율 통계량 $ LR_n = \frac{\max_{\gamma \in \Gamma} \prod_{i=1}^n h_\gamma(X_i)}{\max_{\theta \in \Theta} \prod_{i=1}^n g_\theta(X_i)} $에 적용하며, 이는 $ \exp(l_h(\hat{\gamma}) - l_g(\hat{\theta})) $ 와 동치이다.
• 초월 지수를 대규모 편차 체제 하에서 최대 제1종 및 제2종 오류 확률의 공통 지수 감쇠율 $ \rho $로 정의한다.
• 볼록 해석학과 킬블러-라이블러 발산을 사용하여 귀무모형 및 대립모형 하에서 로그 우도 비율의 속도 함수를 도출한다.
• 서로 절대 연속성과 유한한 분리가 보장되는 조건을 부과하며, 모든 $ \theta, \gamma $ 에 대해 $ \text{KL}(g_\theta, h_\gamma) \geq \delta > 0 $ 이다.
• 암묵함수 정리와 2차 전개를 적용하여 최대화자 $ \hat{\theta}, \hat{\gamma} $ 와 관련된 스코어 함수의 행동을 분석한다.
• 삼각형 배열에 대한 라플라스 조건을 사용하여 귀무가설 하에서 스코어 기반 통계량의 점근 정규성을 증명한다.

실험 결과

연구 질문

• RQ1 비포함된 파라미터 모형에서 일반화된 우도 비율 검정에 대한 최대 제1종 및 제2종 오류 확률의 정확한 점근 감쇠율(초월 지수)은 무엇인가?
• RQ2 두 파라미터 가족이 완전히 분리되어 있지 않을 경우 초월 지수의 행동은 어떻게 되며, 이러한 경우의 근사 오류 확률은 무엇인가?
• RQ3 제1종 및 제2종 오류가 동일한 지수 감쇠율로 감소하는 초월 체제 하에서 일반화된 우도 비율 검정에 상대 효율성 척도를 부여할 수 있는가?
• RQ4 킬블러-라이블러 발산은 비포함 모형의 초월 지수를 결정하는 데 어떤 역할을 하는가?
• RQ5 제시된 프레임워크는 어떤 가설도 사전에 선호하지 않는 비포함 설정에서 모형 선택을 어떻게 지원하는가?

주요 결과

• 초월 지수 $ \rho $ 는 두 파라미터 가족 간 킬블러-라이블러 발산을 포함하는 변분 문제의 해로서 도출된다.
• 일반화된 우도 비율 검정은 대규모 편차 체제 하에서 최적의 초월 지수를 달성하며, 제1종 및 제2종 오류 확률이 모두 지수 감쇠율 $ \rho $ 로 감소한다.
• 두 가족 간 양의 킬블러-라이블러 거리로 분리되어 있을 경우 초월 지수는 엄밀히 양수이며, 이는 비현실적인 분류 능력을 보장한다.
• 분리되지 않은 가족의 경우, 2차 전개를 사용하여 근사 오류 확률을 도출하였으며, 감쇠율이 가족 간 거리에 의존함을 보였다.
• 규칙성 조건 하에서 스코어 기반 통계량의 점근 정규성이 확립되었으며, 이는 대규모 편차 근사의 타당성을 뒷받침한다.
• 유도된 초월 지수는 비포함 모형 선택 문제에서 일반화된 우도 비율 검정을 비교하기 위한 결정적인 기준을 제공한다.