[논문 리뷰] A low variance consistent test of relative dependency

Wacha Bounliphone, Arthur Gretton외 2명|arXiv (Cornell University)|2014. 06. 15.

Bioinformatics and Genomic Networks참고 문헌 35인용 수 4

한 줄 요약

이 논문은 힐버트-슈미트 독립성 기준(HSIC)과 함께 공동 점점분포 모델링을 사용하여, 한 원천 변수가 두 목표 변수 중 어느 쪽에 더 강한 의존성을 가지는지 판단하기 위한 저분산, 일致성 있고 편향이 없는 비모수적 검정을 제안한다. 이 방법은 HSIC 통계량 간의 공분산을 활용하여 부하 샘플링 기반 접근법보다 더 높은 통계적 검정력을 확보하며, 합성 데이터, 언어학적 데이터, 생물의학적 데이터에서 p-값이 수개의 주기수만큼 낮아서 뛰어난 성능을 보인다.

ABSTRACT

We describe a novel non-parametric statistical hypothesis test of relative dependence between a source variable and two candidate target variables. Such a test enables us to determine whether one source variable is significantly more dependent on a first target variable or a second. Dependence is measured via the Hilbert-Schmidt Independence Criterion (HSIC), resulting in a pair of empirical dependence measures (source-target 1, source-target 2). We test whether the first dependence measure is significantly larger than the second. Modeling the covariance between these HSIC statistics leads to a provably more powerful test than the construction of independent HSIC statistics by sub-sampling. The resulting test is consistent and unbiased, and (being based on U-statistics) has favorable convergence properties. The test can be computed in quadratic time, matching the computational complexity of standard empirical HSIC estimators. The effectiveness of the test is demonstrated on several real-world problems: we identify language groups from a multilingual corpus, and we prove that tumor location is more dependent on gene expression than chromosomal imbalances. Source code is available for download at https://github.com/wbounliphone/reldep.

연구 동기 및 목표

• 공통 원천 변수에 대해 두 목표 변수 중 어느 쪽이 더 강한 의존성을 가지는지를 판단하는 통계적 검정을 개발하는 것.
• 다양한 목표 변수 간의 상대적 의존성 강도를 비교하기 위한 비모수적 검정의 부족을 해결하는 것.
• HSIC 통계량 간의 공분산을 모델링하여 독립적으로 간주하는 것보다 더 높은 통계적 검정력을 확보하는 것.
• U-통계량 이론과 공동 점점분포 유도를 통해 일致성, 편향 없음, 저분산을 확보하는 것.
• 회전 기반 알고리즘을 사용하여 두 개 이상의 목표 변수로의 일반화를 수행하는 것.

제안 방법

• 검정은 원천 변수와 각 목표 변수 간의 의존성을 측정하기 위해 힐버트-슈미트 독립성 기준(HSIC)을 사용하여 두 개의 경험적 의존도 점수를 산출한다.
• 고전적 U-통계량 이론(Hoeffding, 1963; Serfling, 1981)을 활용하여 두 HSIC 통계량의 공동 점점분포를 유도한다.
• 두 HSIC 값의 차이를 기반으로 한 검정 통계량을 구성하며, 이를 위해 두 통계량 간의 알려진 공분산을 활용하여 분산을 최소화한다.
• 두 HSIC 추정량 간의 의존성을 고려함으로써 일치성, 저분산, 편향 없는 추정량을 도출한다.
• 두 개 이상의 목표 변수가 있는 경우, 이 방법은 회전 행렬 알고리즘(알고리즘 1)을 통해 일반화되어 저분산과 일치성을 유지한다.
• 계산 복잡도는 표준 HSIC 추정량과 동일하게 표본 크기에 대해 이차함수로 유지된다.

실험 결과

연구 질문

• RQ1 두 목표 변수 중 어느 쪽이 공통 원천 변수에 더 강한 의존성을 가지는지를 신뢰성 있게 판단할 수 있는 비모수적 검정이 가능한가?
• RQ2 두 HSIC 통계량 간의 공분산을 모델링하면, 이를 독립적으로 간주하는 것보다 더 높은 검정력을 가진 검정이 가능한가?
• RQ3 실제 다변량 및 비유클리드 공간 데이터에 적용했을 때, 이 검정이 저분산과 일치성을 유지할 수 있는가?
• RQ4 부하 샘플링 기반 대안과 비교했을 때, 제안된 검정의 검정력과 p-값 성능은 어떠한가?
• RQ5 이 방법은 두 개 이상의 목표 변수 간의 상대적 의존성을 비교하는 데 일반화될 수 있는가?

주요 결과

• 제안된 검정은 경험적 평가에서 부하 샘플링 기반 방법보다 유의미하게 낮은 p-값을 기록하였으며, 일부 사례에서 p-값이 수개의 주기수만큼 낮아었다.
• 다국어 어휘집 작업에서, 이 검정은 언어 집단 간 의존성을 p < 10⁻⁹의 수준에서 식별하여 높은 통계적 유의성을 입증하였다.
• 소아성 간질종양 데이터에서는, 종양 위치가 유전자 발현에 비해 염색체 이상에 더 강한 의존성을 보였으며, p < 10⁻⁵로 유의미했고, 독립적 검정은 p = 0.005를 기록하였다.
• 의존적 검정은 독립적 검정보다 훨씬 낮은 분산을 보였으며, 간질종양 데이터에서 2σ 등고선도를 통해 이를 확인하였다.
• 이 방법은 이차 시간 복잡도를 유지하여, 일반적으로 HSIC가 적용되는 대규모 데이터셋에 대해 확장 가능한 성능을 보였다.
• 회전 행렬을 활용한 두 개 이상의 목표 변수로의 일반화가 성공적으로 구현되었으며, 저분산과 일치성을 유지하였다.