[논문 리뷰] Likelihood inference in the presence of nuisance parameters

Nancy Reid, D. A. S. Fraser|ArXiv.org|2003. 12. 11.

Advanced Statistical Methods and Models참고 문헌 8인용 수 20

한 줄 요약

이 논문은 낭비 매개변수를 동반한 통계 모형에서 매개변수 추정 및 가설 검정을 위한 세 차수의 우도 기반 추론 방법을 제시한다. 조정된 프로파일 우도와 캐논리컬 매개변수화를 사용하여 정확도를 향상시킨다. 제안된 방법은 세 차수의 근사 기반 p-값 함수를 도입하여 표준 방법보다 우수한 성능을 보이며, 특히 소표본 또는 비정규 모형에서 유의하다.

ABSTRACT

We describe some recent approaches to likelihood based inference in the presence of nuisance parameters. Our approach is based on plotting the likelihood function and the $p$-value function, using recently developed third order approximations. Orthogonal parameters and adjustments to profile likelihood are also discussed. Connections to classical approaches of conditional and marginal inference are outlined.

연구 동기 및 목표

• 통계 모형에 낭비 매개변수가 존재할 때 정확한 우도 기반 추론 방법을 개발하기 위해.
• 표준 프로파일 우도의 한계, 특히 소표본에서의 편향과 낮은 신뢰수준을 해결하기 위해.
• 세 차수의 점근적 근사를 사용하여 p-값과 신뢰구간을 계산할 수 있는 실용적이고 계산 가능성이 높은 방법을 제공하기 위해.
• 기존의 조건부 및 마진형 우도와 같은 고전적 접근법을 캐논리컬 매개변수화 프레임워크를 통해 통합하고 일반화하기 위해.
• 표준 방법이 실패하거나 편향이 생기는 문제들, 예를 들어 포아송 평균의 비율과 지수 회귀에서 추론 정확도를 향상시키기 위해.

제안 방법

• 우도 비율의 표본 분포에 대한 세 차수의 점근적 근사를 사용하여, 일차 방법을 초월해 p-값 정확도를 향상시킨다.
• 데이터 포인트에서 국소적으로 계산된 캐논리컬 매개변수화 φ(θ)를 사용해 p-값 함수를 정의함으로써, 불변성과 해석 가능성의 향상을 도모한다.
• 관측된 피셔 정보와 낭비 매개변수 공간의 곡률을 포함한 보정 항을 사용해 프로파일 우도를 조정한다.
• r*-변환을 적용한다: r* = rp + (1/rp) log(Q/rp), 여기서 rp는 부호가 붙은 우도 비율이고 Q는 낭비 매개변수의 영향을 조정한다.
• 이산 모형(예: 포아송)에 대해 중간 p-값 접근법을 도입하여 가설 검정에서의 보수성 감소를 달성한다.
• 조정된 프로파일 우도가 선형 지수 가족에서 조건부 및 마진형 우도를 정확히 근사함을 보여주어 고전적 방법과의 연결을 확립한다.

실험 결과

연구 질문

• RQ1 낭비 매개변수가 존재할 때, 특히 소표본에서 우도 기반 추론을 어떻게 개선할 수 있는가?
• RQ2 직교 매개변수의 역할은 추론을 단순화하고 우도 기반 방법의 정확도를 향상시키는 데 어떤 기여를 하는가?
• RQ3 p-값 함수에 대한 세 차수의 근사는 표준 일차 방법보다 더 나은 신뢰수준과 크기 성질을 제공할 수 있는가?
• RQ4 조정된 프로파일 우도는 지수 가족에서 조건부 및 마진형 우도와 어떻게 비교되는가?
• RQ5 제안된 방법은 기존의 우도 비율 검정이나 월드 간격보다 어떤 설정에서 더 뛰어난 성능을 보이는가?

주요 결과

• 일반적으로 동일한 분포를 따르는 표본에서 세 차수의 p-값 근사는 상대 오차가 O(n^{-3/2})를 보이며, 일차 방법보다 정확도가 크게 향상된다.
• 포아송 평균의 비율 문제에서, 이 방법은 보수적인 정확한 방법보다 더 적절한 중간 p-값 0.00521을 도출한다.
• 지수 회귀에서, 이 방법은 Σxi ≠ 0일 때 매개변수의 직교성이 결여되어 있음을 정확히 반영하여 오해의 소지를 방지한다.
• 조정된 프로파일 우도는 선형 지수 가족, 예를 들어 예제 1의 이항 모형에서 조건부 우도를 잘 근사한다.
• 캐논리컬 매개변수화 φ(θ)는 재매개변수화에 대해 불변성을 보장하고, 다양한 매개변수화 간 일관된 p-값 계산을 가능하게 한다.
• r*-변환은 표준 우도 비율 및 월드 기반 접근법보다 시뮬레이션과 이론적 모형 모두에서 더 견고하고 정확한 p-값 함수를 제공한다.