[논문 리뷰] Information theory, multivariate dependence, and genetic network inference

Ilya Nemenman|ArXiv.org|2004. 06. 07.

Gene Regulatory Network Analysis참고 문헌 7인용 수 33

한 줄 요약

이 논문은 유전적 네트워크에서 다변량 통계적 의존성을 정의하고 추론하기 위해 최대 엔트로피 기반 프레임워크를 제안한다. 이는 표본 수가 부족한 경우에도 상호작용을 신뢰성 있게 탐지할 수 있도록 한다. 전체 결합 확률 분포 추정 없이 정보이론적 양(예: 상호작용 다중정보)을 직접 추정함으로써, 가능한 상태 조합의 수보다 표본 수가 훨씬 작은 경우에도 진짜 의존성을 성공적으로 복원한다. 이는 제한된 데이터로 게놈 네트워크 추론이 가능함을 보여준다.

ABSTRACT

We define the concept of dependence among multiple variables using maximum entropy techniques and introduce a graphical notation to denote the dependencies. Direct inference of information theoretic quantities from data uncovers dependencies even in undersampled regimes when the joint probability distribution cannot be reliably estimated. The method is tested on synthetic data. We anticipate it to be useful for inference of genetic circuits and other biological signaling networks.

연구 동기 및 목표

• 고차원 생물학적 데이터에서 직접적 상호작용, 간접적 상호작용 또는 협동적 상호작용을 구분할 수 있는 다변량 통계적 의존성의 보편적 정의를 체계화하는 것.
• 기존 베이지안 네트워크 및 조건부 인지성 방법이 조절 순환 구조와 고차원 상호작용을 포착하는 데 한계를 가진다는 점을 극복하는 것.
• 특히 표본 수가 적은 경우에 결합 확률 분포를 완전히 추정하지 않고도 데이터로부터 통계적 의존성을 직접 추론할 수 있는 방법을 개발하는 것.
• 표본 수가 가능한 상태 조합의 수보다 훨씬 작은 경우에도 진짜 상호작용을 탐지할 수 있는지의 가능성을 테스트하는 것.
• 표본 수가 부족한 상황에서도 고밀도 발현 데이터로부터 유전자 및 신호 전달 네트워크를 신뢰성 있게 추론할 수 있는 기반을 마련하는 것.

제안 방법

• 하위순서 통계량(하위순서 모수)에 의해 제약된 최대 엔트로피(MaxEnt) 분포를 사용하여 결합 확률 분포를 근사함으로써, 하위순서 통계량이 포괄하지 못하는 의존성을 분리한다.
• 특정 모수 제약 조건 하에서 전체 결합 분포의 엔트로피와 그 MaxEnt 근사의 엔트로피 차이로 상호작용 다중정보를 정의한다.
• 특히 딜레르트 우선사전과 NSB 방법을 포함한 직접 엔트로피 추정 기법을 적용하여, 가능한 상태 수보다 표본 수가 훨씬 적은 경우에도 엔트로피를 신뢰성 있게 추정한다.
• 다변량 의존성의 척도로 상호작용 다중정보 Δ를 사용하며, 통계적 유의성은 Δ^(·)의 오차 δΔ^(·)를 고려한 증거 E^(·) = Δ^(·)/δΔ^(·)로 평가한다.
• 표본 수 N을 50에서 125,000까지 다양하게 변화시키며, M=3개 변수와 약 50개의 모수 기수를 가진 시뮬레이션 데이터를 사용해 추론 성능을 테스트한다.
• 의존성 표현을 위한 그래픽 기호를 도입하여 특정 변수 조합에 상호작용을 국소화함으로써 직접적 의존성과 간접적 의존성을 구분할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 유전적 네트워크에서 직접적, 협동적, 간접적 상호작용을 구분할 수 있도록 다변량 통계적 의존성을 체계적으로 정의할 수 있는가?
• RQ2 결합 확률 분포를 신뢰성 있게 추정할 수 없는 고차원, 표본 수가 적은 데이터에서 의미 있는 통계적 의존성을 추론할 수 있는가?
• RQ3 엔트로피 추정 기반 직접 상호작용 추론의 성능이 전체 결합 분포 추정이 필요한 전통적 방법과 비교해 어떻게 되는가?
• RQ4 표본 수가 가능한 상태 조합의 수보다 훨씬 적은 경우 상호작용 다중정보 Δ가 진짜 의존성을 얼마나 잘 탐지할 수 있는가?
• RQ5 숨겨진 변수나 간접 효과로 인한 허위 고차원 의존성과 진짜 직접 상호작용을 신뢰성 있게 구분할 수 있는가?

주요 결과

• 표본 수 N이 가능한 상태 조합의 수 K보다 훨씬 작은 경우에도 시뮬레이션 데이터에서 진짜 다변량 의존성을 성공적으로 복원한다. N ≲ K일 때도 신뢰성 있는 추론이 가능하다.
• N이 √K 수준까지 낮아도 상호작용이 적절히 복원되며, 결합 분포 추정이 가능한 시점 이전부터도 의존성에 대한 증거 E^(·)가 유의미해진다.
• 디릴레르트 우선사전과 NSB와 같은 방법을 통해 엔트로피를 강건하게 직접 추정함으로써, 심각하게 표본 수가 부족한 상황에서도 상호작용 다중정보 Δ가 추정 가능하다. 이는 기존 히스토그램 기반 접근보다 우수하다.
• 예를 들어 X1–X2–X3와 같은 간접 경로로 인해 상관관계가 비영이 되는 경우를 정확히 식별하며, 실제로 그런 연결이 없을 때도 직접 상호작용으로 오해하지 않는다.
• N ≲ 100개의 표본이 있는 게놈 응용 분야에서는 삼분할 기준으로 최대 m* ≈ 4차까지의 상호작용이 신뢰성 있게 탐지 가능하며, 고급 엔트로피 추정기법을 사용하면 m* ≈ 8까지 확장 가능하다.
• MaxEnt 근사와 상호작용 다중정보를 기반으로 한 이론적 프레임워크는, 기저 분포에 대한 비모수적 형태를 가정하지 않더라도 특정 변수 집합의 기여도로 통계적 의존성을 일관되고 해석 가능한 방식으로 분해할 수 있다.