[논문 리뷰] Entropy inference and the James-Stein estimator, with application to nonlinear gene association networks

Jean Hausser, Korbinian Strimmer|Research Explorer (The University of Manchester)|2008. 11. 21.

Gene Regulatory Network Analysis참고 문헌 45인용 수 375

한 줄 요약

이 논문은 고차원 설정에서, 특히 유전체학에서 흔한 '작은 n, 큰 p' 상황인 소표본 추정을 크게 향상시키는 엔트로피와 상호정보량에 대한 제임스-스타인 유형의 수축 추정기인 새로운 추정기를 소개한다. 다양한 데이터 모델에서 여덟 개의 기존 추정기보다도 우수한 성능을 보이며, 계산적으로 효율적이고 해석적으로 유도된 해법을 제공함으로써 제한된 유전자 발현 데이터로부터 정확한 엔트로피와 유전자 네트워크 추론을 가능하게 한다.

ABSTRACT

We present a procedure for effective estimation of entropy and mutual information from small-sample data, and apply it to the problem of inferring high-dimensional gene association networks. Specifically, we develop a James-Stein-type shrinkage estimator, resulting in a procedure that is highly efficient statistically as well as computationally. Despite its simplicity, we show that it outperforms eight other entropy estimation procedures across a diverse range of sampling scenarios and data-generating models, even in cases of severe undersampling. We illustrate the approach by analyzing E. coli gene expression data and computing an entropy-based gene-association network from gene expression data. A computer program is available that implements the proposed shrinkage estimator.

연구 동기 및 목표

• 고차원적이고 표본이 부족한 데이터에서 최대우도 추정기의 열악한 성능을 해결하기 위해, 특히 유전체학에서 흔한 '작은 n, 큰 p' 설정에서의 성능 향상을 도모한다.
• 소표본 환경에서 기존 방법보다 개선된 성능을 보이는 계산적으로 효율적이고 통계적으로 강건한 엔트로피 추정기를 개발한다.
• 엔트로피 기반 측정을 통해 제한된 유전자 발현 데이터로부터 비선형 유전자 연관 네트워크를 신뢰성 있게 추론할 수 있도록 한다.
• 복잡하거나 계산 비용이 큰 엔트로피 추정 절차의 대안으로서 완전히 분석적이고 수축 기반의 대체 방법을 제공한다.

제안 방법

• 고차원 최대우도 추정과 저차원 대상 추정을 조합하여 분산을 줄이는 제임스-스타인 유형의 수축 추정기를 제안한다.
• 실험적 분산, 공분산 및 편향을 기반으로 한 데이터 기반 수축 강도 λ^⋆를 폐쇄형 식 (식 10)을 통해 계산한다.
• 수축 프레임워크를 다항분포 셀 빈도 추정에 적용한 후, 수축된 빈도를 샤논 엔트로피 공식 (식 1)에 직접 삽입한다.
• 고차원 설정에서 희소한 셀 빈도를 정규화하기 위해 균일한 사전분포(랩라스 스무딩)를 기반으로 한 대상 추정을 사용한다.
• 결합 및 주변 분포의 엔트로피 추정을 활용하여 수축 원리를 상호정보량 추정에 적용한다.
• CRAN에 공개된 R 패키지 'entropy'를 통해 실용적인 적용을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 제임스-스타인 수축 접근법이 고차원적이고 소표본 설정에서 엔트로피 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 제안된 수축 추정기는 다양한 표본 추출 조건과 데이터 생성 모델에서 여덟 개의 기존 엔트로피 추정기와 비교해 어떻게 성능을 냈는가?
• RQ3 수축 방법이 제한된 유전자 발현 데이터로부터의 유전자 연관 네트워크 추론 신뢰도를 어느 정도 향상시키는가?
• RQ4 수축 추정기는 시뮬레이션 또는 복잡한 최적화 절차 없이 폐쇄형으로 효율적으로 계산될 수 있는가?

주요 결과

• 제안된 제임스-스타인 수축 추정기는 NSB 및 초아-센과 같은 여덟 개의 기준 엔트로피 추정기보다 다양한 표본 추출 조건과 데이터 생성 모델에서 일관되게 뛰어난 성능을 보였다.
• 전통적인 최대우도 추정기가 진정한 엔트로피를 심각하게 과소평가하는 극심한 표본 부족 상황에서도 이 방법이 뛰어난 성능을 발휘했다.
• 수축 추정기는 엔트로피뿐 아니라 셀 빈도 추정까지 제공하여 샤논 엔트로피 공식에 직접 삽입되어 정확도가 향상된다.
• 이 방법은 계산적으로 효율적이며 완전히 분석적이며, 다른 추정기에서 흔히 볼 수 있는 반복적 또는 시뮬레이션 기반 절차가 필요로 하지 않는다.
• 대장균(E. coli) 유전자 발현 데이터에 적용한 결과, 이 방법은 강력하고 엔트로피 기반의 유전자 연관 네트워크를 성공적으로 추론하여 실용적 유용성을 입증하였다.
• R 패키지 'entropy'는 이 추정기를 구현하고 있으며 공개되어 있어 재현 가능 연구와 광범위한 활용을 가능하게 한다.