[논문 리뷰] The Two-Way Likelihood Ratio (G) Test and Comparison to Two-Way Chi Squared Test

Jesse Hoey|arXiv (Cornell University)|2012. 06. 21.

Algorithms and Data Compression참고 문헌 1인용 수 25

한 줄 요약

이 논문은 두 개의 다항분포를 비교하기 위해 카이제곱검정보다 우수한 대안으로 이원형 로그우도비(G) 검정을 제시한다. G통계량은 두 배의 로그우도비로 유도되며, 대규모 표본에서는 카이제곱분포에 근사하지만 희소 데이터에서도 더 높은 정확도를 유지함을 보이며, 과적합을 방지하기 위해 모형의 복잡도를 보정해야 한다고 강조한다.

ABSTRACT

This paper presents a derivation of the Two-Way Likelihood Ratio (G) Test and Comparison to the Two-Way Chi Squared Test

연구 동기 및 목표

• 두 개의 다항분포 간의 차이를 평가하기 위해 기존의 카이제곱검정과 이원형 로그우도비(G) 검정을 비교하는 것.
• 관측수나 희소 데이터가 적은 경우, G검정이 카이제곱검정보다 더 신뢰할 수 있는 이유를 점점 더 우수한 점근적 성질 덕분임을 보여주는 것.
• G통계량과 쿨백-라이블러 발산 간의 관계를 명확히 하여, 대칭화된 상대 엔트로피 측도로 프레임워크화하는 것.
• G값을 해석할 때 모형 복잡도를 보정하는 것이 중요하다는 점을 강조하여, 매개변수의 점추정치는 과적합을 유도할 수 있음을 설명하는 것.
• 카이제곱근사가 아닌 로그우도비 이론에 기반한 G통계량을 사용한 신뢰도 검정의 원칙적인 프레임워크를 제공하는 것.

제안 방법

• 관측수 $ O_i $ 와 기대수 $ E_i $ 를 고려하여 이원형 G검정 통계량을 $ G = 2 \times \text{bin에 대한 합계} \; O_i \times \log(O_i / E_i) $ 로 유도한다.
• 로그우도비를 $ L = R \cdot D_{KL}(r_i \| p_i) + S \cdot D_{KL}(s_i \| p_i) $ 로 표현하며, $ p_i = (R_i + S_i)/(R + S) $ 를 사용하여 쿨백-라이블러 발산과 연결한다.
• 테일러 전개를 사용하여 관측수와 기대수가 가까울 경우 $ G \approx \chi^2 $ 임을 보이며, 그러나 편차가 크거나 데이터가 희소할 경우 G가 더 정확하다는 것을 입증한다.
• 앞서 알고리즘을 사용해 가능도를 계산하고 식 (3)을 활용해 비율을 구함으로써, G통계량을 동적 모형(예: 은닉 마르코프 모형)에 적용한다.
• 유의성 판단을 위해 $ G $ 와 $ 2\nu $ 를 비교할 것을 제안하며, 여기서 $ \nu $ 는 자유도이다 (예: $ G > 2\nu $ 는 $ p < 0.05 $ 를 의미함).
• 최대우도 추정치를 전체 베이지안 통합 대신 사용할 경우 과적합이 발생할 수 있으므로, 모형 복잡도 보정이 필수적임을 경고한다.

실험 결과

연구 질문

• RQ1 희소 데이터나 작은 표본 조건에서 이원형 G검정이 카이제곱검정보다 정확도가 높은가?
• RQ2 두 개의 다항분포에서 G통계량과 쿨백-라이블러 발산 간의 수학적 관계는 무엇인가?
• RQ3 낮은 기대수나 높은 변동성이 있는 경우 G검정이 카이제곱검정보다 선호되는 이유는 무엇인가?
• RQ4 과적합을 방지하기 위해 G통계량을 해석할 때 모형 복잡도(예: 박스 수)를 어떻게 고려해야 하는가?
• RQ5 G통계량은 은닉 마르코프 모형과 같은 동적 모형에 의미 있게 사용될 수 있는가? 이 경우 가능도는 어떻게 계산해야 하는가?

주요 결과

• G검정은 각 데이터셋과 융합된 분포 간의 쿨백-라이블러 발산의 두 배의 합과 수학적으로 동일하며, 분포 간 차이를 대칭화된 측도로 제공한다.
• 관측수와 기대수가 유사할 경우 G통계량은 카이제곱통계량에 근사하지만, 희소 데이터나 큰 편차가 있는 경우 근사가 성립하지 않는다.
• G검정은 카이제곱검정보다 작은 표본에서 더 견고한 이유는 카이제곱근사가 정규성을 기반으로 하여 유도하는 편향을 피하기 때문이다.
• 최대우도 추정치를 사용할 경우 G값은 모형 복잡도에 의존하므로, 거짓 양성 결과를 방지하기 위해 자유도를 고려해 보정해야 한다.
• G > 2\nu 를 유의성 기준으로 사용할 경우 약간의 p-값 0.05에 해당하며, 귀무가설 기각을 위한 직접적이고 해석 가능한 기준을 제공한다.
• 은닉 마르코프 모형과 같은 동적 모형의 경우, G검정에 필요한 가능도는 표준 전진 알고리즘을 사용해 계산할 수 있으며, 이는 독립적 동일분포 데이터를 초월한 방법의 확장이다.