[논문 리뷰] Estimating mutual information and multi--information in large networks

Noam Slonim, Gurinder S. Atwal외 2명|ArXiv.org|2005. 02. 03.

Complex Network Analysis Techniques참고 문헌 2인용 수 46

한 줄 요약

이 논문은 유한표본 편향을 보정하기 위해 표본 크기 외삽과 적응형 빈팅을 사용하여 대규모 네트워크에서 상호정보량과 다중정보량을 확장 가능하고 직접적으로 추정하는 방법을 제시한다. 이 방법은 유전자 발현, 금융 시장, 소비자 데이터에서의 고차원 상관관계를 신뢰성 있게 추정할 수 있게 하며, 다중정보량이 이변량 상관계수로는 파악할 수 없는 상호작용적 관계를 포착함을 보여준다.

ABSTRACT

We address the practical problems of estimating the information relations that characterize large networks. Building on methods developed for analysis of the neural code, we show that reliable estimates of mutual information can be obtained with manageable computational effort. The same methods allow estimation of higher order, multi--information terms. These ideas are illustrated by analyses of gene expression, financial markets, and consumer preferences. In each case, information theoretic measures correlate with independent, intuitive measures of the underlying structures in the system.

연구 동기 및 목표

• 제한된 데이터로 대규모 네트워크에서 상호정보량과 다중정보량을 신뢰성 있게 추정하는 데 실용적인 도전 과제를 해결하기 위해.
• 이전에 신경 코딩 분야에서 사용된 직접 추정 방법을 유전자 조절 네트워크와 같은 고차원 시스템으로 확장하기 위해.
• 가역 변환에 대해 정보이론적 불변성을 유지하면서도 유한표본 보정을 자동으로 수행하고 강건한 기법을 개발하기 위해.
• 다중정보량이 이변량 분석만으로는 파악할 수 없는 고차원 상관관계를 포착함을 보여주기 위해.
• 유전체학, 금융 시장, 소비자 선호도 등 다양한 분야에서 방법을 검증하여 정보 이론적 특성과 직관적인 구조적 특성 간의 상관관계를 보여주기 위해.

제안 방법

• 에르고딕성 하에 앙상블 평균을 시간 평균으로 대체하여 표본 편향을 줄이는 직접 추정 방법을 사용한다.
• 표본 크기 외삽을 적용하여 무한표본 상호정보량을 추정하고, $ I_{\text{est}}(b,N) = I_\infty(b) + A(b)/N + \cdots $ 방식으로 표본 수에 따른 유한표본 편향을 보정한다.
• 등빈도 빈팅을 사용하여 좌표 불변성을 유지하고 임의의 양자화를 방지한다.
• 섞인 데이터를 사용하여 임계 빈 수 $ b^* $ 를 정의하여 표본 수의 영향이 지배적이기 시작하기 이전까지 신뢰할 수 있는 추정의 상한선을 설정한다.
• 동일한 외삽 및 빈팅 원리를 적용하여 삼중정보량($ I_3 $)과 같은 다중정보량으로 프레임워크를 확장한다.
• 추정된 정보량 값과 비특이적인 무작위 쌍/삼중쌍을 비교하여 통계적 유의성을 평가함으로써 결과를 검증한다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 대규모 네트워크에서 실용적이고 확장 가능한 방법으로 신뢰할 수 있는 상호정보량 추정이 가능한가?
• RQ2 독립성 또는 특정 분포 형태를 가정하지 않고 정보 추정의 유한표본 편향을 어떻게 보정할 수 있는가?
• RQ3 이차 정보량으로는 포착되지 않는 상호작용적 관계를 다중정보량(예: 삼중정보량)이 어느 정도 드러내는가?
• RQ4 제안된 방법은 정보 이론적 서명을 기반으로 유전자 발현 데이터에서 생물학적으로 의미 있는 모듈을 식별할 수 있는가?
• RQ5 금융 및 소비자 선호도 네트워크에서 정보 이론적 측정치가 직관적인 구조적 특성과 상관관계가 있는가?

주요 결과

• 표본 크기 외삽을 통한 직접 추정 방법은 고차원 시스템에서도 신뢰할 수 있는 상호정보량 추정을 가능하게 하며, $ b^* $ 는 안정적인 빈팅의 실용적 한계로 기능한다.
• budding yeast 유전자 발현 데이터에서 'tRNA 아미노산화' 모듈은 평균 삼중정보량 $ \langle I_3 \rangle $ 가 가장 높았으며, 이는 유전자 간 강력한 상호작용적 조절을 시사한다.
• 세포 주기와 연관된 'bud growth' 모듈은 $ \langle I_3 \rangle $ 가 가장 낮아 집단적 조절이 약한 것으로 나타났다.
• 'tRNA 아미노산화' 모듈의 경우 삼중정보량 값이 무작위 삼중쌍보다 유의미하게 높았으며, 모듈의 연결성 증가에 따라 삼중정보량과 이변량 정보량 간 격차가 커졌다.
• 이 방법은 정보 이론적 서명을 기반으로 유전자 발현 데이터에서 구분 가능한 기능적 모듈을 성공적으로 식별하였으며, 결과는 알려진 생물학적 주석과 상관관계가 있었다.
• 다중정보량 측정치는 고차원 상관관계의 상당 부분이 이변량 관계로는 설명될 수 없음을 보여주며, 조절 네트워크 내 상호작용적 특성을 시사한다.