[논문 리뷰] CCMI : Classifier based Conditional Mutual Information Estimation

Sudipto Mukherjee, Himanshu Asnani외 1명|arXiv (Cornell University)|2019. 06. 05.

Neural Networks and Applications참고 문헌 46인용 수 20

한 줄 요약

이 논문은 기존의 k-NN 및 커널 기반 방법과 달리 차원의 극복 문제를 피하고 고차원 설정에서 정확한 CMI 추정을 가능하게 하는 새로운 분류기 기반 조건부 상호정보 추정기 CCMI를 제안한다. CCMI는 복합 분포와 곱분포 간의 KL 발산을 추정하기 위해 판별 모델을 활용하며, 이는 고차원 환경에서 조건부 상호정보 추정에 유리하다. k-NN나 커널 기반 방법과 달리 차원의 극복 문제를 피하고, 조건부 인성 테스트에서 최신 기술보다 뛰어난 성능을 보이며, 100차원에서 AUC > 0.91를 유지하고, 합성 데이터 및 실제 유비코어 흐름세포 분석 데이터에서 CCIT를 능가한다.

ABSTRACT

Conditional Mutual Information (CMI) is a measure of conditional dependence between random variables X and Y, given another random variable Z. It can be used to quantify conditional dependence among variables in many data-driven inference problems such as graphical models, causal learning, feature selection and time-series analysis. While k-nearest neighbor (kNN) based estimators as well as kernel-based methods have been widely used for CMI estimation, they suffer severely from the curse of dimensionality. In this paper, we leverage advances in classifiers and generative models to design methods for CMI estimation. Specifically, we introduce an estimator for KL-Divergence based on the likelihood ratio by training a classifier to distinguish the observed joint distribution from the product distribution. We then show how to construct several CMI estimators using this basic divergence estimator by drawing ideas from conditional generative models. We demonstrate that the estimates from our proposed approaches do not degrade in performance with increasing dimension and obtain significant improvement over the widely used KSG estimator. Finally, as an application of accurate CMI estimation, we use our best estimator for conditional independence testing and achieve superior performance than the state-of-the-art tester on both simulated and real data-sets.

연구 동기 및 목표

• 기존의 k-NN 및 커널 기반 방법과 같은 조건부 상호정보(CMI) 추정기에서 발생하는 차원의 극복 문제를 해결하기 위해.
• 기존 방법이 떨어지는 고차원 설정에서도 정확하고 안정적인 CMI 추정 프레임워크를 개발하기 위해.
• 분류기와 생성 모델의 최근 발전을 활용하여 더 샘플 효율적이고 확장 가능한 CMI 추정기의 새로운 유형을 창출하기 위해.
• 정확한 CMI 추정의 유용성을 조건부 인성 테스트를 통해 입증하고, 최신 기술을 능가하기 위해.

제안 방법

• 진짜 복합 분포와 조건부 분포의 곱분포를 구분하도록 훈련된 분류기를 기반으로 한 새로운 KL 발산 추정기를 제안하며, 이때 가능도 비율을 대체로 사용한다.
• 조건부 생성 모델링 원리를 활용하여 기본 발산 추정기를 확장함으로써 여러 개의 CMI 추정기를 구성한다.
• 직접 밀도 추정을 피하기 위해 관측된 분포와 인수분해된 분포 간의 발산을 추정하기 위해 이중 샘플 분류기 접근법을 사용한다.
• 복합 분포에서 유래한 쌍체 데이터와 곱분포에서 유래한 쌍체 데이터를 기반으로 신경망 분류기를 훈련하여 로그 가능도 비율을 통해 발산을 추정한다.
• 추정치를 0으로 임계값 설정함으로써 결과 CMI 추정기를 조건부 인성 테스트에 적용하며, 성능 평가에 AUROC를 사용한다.
• 가설 검정을 위해 순열 기반 p-값 추정을 사용하지만, 주요 보고 지표로는 AUROC를 사용한다.

실험 결과

연구 질문

• RQ1 분류기 기반 접근법이 고차원 설정에서 k-NN 및 커널 기반 방법보다 조건부 상호정보 추정에서 뛰어난 성능을 보일 수 있는가?
• RQ2 조건 변수 Z의 차원이 증가함에 따라 제안된 CCMI 추정기가 정확성과 안정성을 유지하는가?
• RQ3 합성 데이터 및 실제 데이터에서 최신 기술인 CCIT에 비해 CCMI가 조건부 인성 테스트에서 뛰어난 성능을 보일 수 있는가?
• RQ4 실제 생물학적 데이터셋에서 샘플 수가 제한된 경우 CCMI의 성능은 어떻게 저하되거나 유지되는가?

주요 결과

• CCMI는 조건부 인성 테스트에서 높은 성능을 유지하며, 조건 변수 Z의 차원이 100일 때 평균 AUROC가 0.91에 도달한다. 반면 CCIT는 50차원을 넘어서면 심각하게 성능이 떨어진다.
• 후비선형 노이즈가 첨가된 합성 데이터에서, d_z = 100일 때 조건부 독립 쌍과 의존 쌍 간의 CMI 추정치가 명확히 분리되며, 임계값을 0으로 설정했을 때 정밀도는 0.84, 재현율은 0.86을 기록한다.
• 샘플 수가 853개뿐이고 d_z ∈ {5,7}인 실제 흐름세포 분석 데이터에서 CCMI는 AUROC에서 CCIT를 능가하며, 저샘플, 중간 차원 설정에서도 안정성을 입증한다.
• 제안된 분류기 기반 KL 발산 추정기는 최근의 신경망 기반 방법보다 더 안정적이고 뛰어난 성능을 보이며, CCMI 프레임워크의 기초가 된다.
• k-NN 방법이 샘플 복잡도가 지수적으로 증가하는 고차원 환경에서 CCMI는 널리 사용되는 KSG 추정기보다도 크게 향상된다.