[논문 리뷰] Maximally informative models and diffeomorphic modes in the analysis of large data sets

Justin B. Kinney, Gurinder S. Atwal|arXiv (Cornell University)|2012. 12. 15.

Gene Regulatory Network Analysis참고 문헌 15인용 수 1

한 줄 요약

이 논문은 노이즈 있는 측정치 M과 예측된 표현 R 사이의 상호정보량 I[M;R]을 최대화하는 방식으로, 노이즈 모델 R→M이 알려져 있거나 근사적으로 알려져 있지 않은 경우 표준 추론의 대안으로 제안한다. 대량의 데이터에서 이 방법은 데이터 처리 부등식을 만족하는 모든 종속도 측정법을 동시에 최적화하며, 추론 문제의 본질적 구조적 제약을 반영하는 '디피오모르픽 모드'(diffeomorphic modes)를 드러낸다. 이는 기존의 우도 기반 방법이 가려내는 바이다.

ABSTRACT

Motivated by data-rich experiments in transcriptional regulation and sensory neuroscience, we consider the following general problem in statistical inference. When exposed to a high-dimensional signal S, a system of interest computes a representation R of that signal which is then observed through a noisy measurement M. From a large number of signals and measurements, we wish to infer the that maps S to R. However, the standard method for solving such problems, likelihood-based inference, requires perfect a priori knowledge of the mapping R to M. In practice such noise functions are usually known only approximately, if at all, and using an incorrect noise function will typically bias the inferred filter. Here we show that, in the large data limit, this need for a pre-characterized noise function can be circumvented by searching for filters that instead maximize the mutual information I[M;R] between observed measurements and predicted representations. Moreover, if the correct filter lies within the space of filters being explored, maximizing mutual information becomes equivalent to simultaneously maximizing every dependence measure that satisfies the Data Processing Inequality. It is important to note that maximizing mutual information will typically leave a small number of directions in parameter space unconstrained. We term these directions and present an equation that allows these modes to be derived systematically. The presence of diffeomorphic modes reflects a fundamental and nontrivial substructure within parameter space, one that is obscured by standard likelihood-based inference.

연구 동기 및 목표

• 측정치 M로 표현 R을 매핑하는 노이즈 함수가 잘 특징화되어 있지 않거나 알려져 있지 않은 경우 고차원 데이터에서 통계적 추론을 수행하는 데 도전하는 것.
• 기존의 우도 기반 추론에서 잘못된 노이즈 가정으로 인한 편향을 피하기 위한 방법 개발.
• 사전에 지정된 노이즈 모델이 없는 상황에서 발생하는 매개변수 공간 내 본질적 하위구조—특히 디피오모르픽 모드—를 식별하고 특성화하는 것.
• 대량의 데이터에서 상호정보량 I[M;R]을 최대화하면 모든 유효한 종속도 측정법을 동시에 최적화하는 강력한 추론 프레임워크로 이어지며, 이는 동치임을 보여주는 것.
• 상호정보량 최대화 후에도 남는 비제약 매개변수 방향(디피오모르픽 모드)을 체계적으로 도출하는 방법을 제공하는 것.

제안 방법

• 우도 기반 추론에 의존하는 대신, 입력 신호 S로부터 유도된 관측 측정치 M과 예측된 표현 R 사이의 상호정보량 I[M;R]을 최대화한다.
• 이 방법은 대량의 데이터에서 작동하며, (S, M) 쌍의 경험적 분포가 충분히 조밀해져 I[M;R]의 신뢰성 있는 추정이 가능해지는 경우에 적용된다.
• 이 방법은 필터 공간 내에서 상호정보량에 영향을 주지 않는 비제약 매개변수 방향—즉, '디피오모르픽 모드'로 불리는 방향—을 식별한다.
• 이러한 디피오모르픽 모드를 계산하기 위한 체계적인 방정식을 유도하며, 이는 필터 매핑의 야코비안과 표현 공간의 구조에 기반한다.
• 데이터 처리 부등식을 활용하여, I[M;R]을 최대화하는 것이 이 부등식을 만족하는 모든 종속도 측정법을 동시에 최적화하는 것과 동치임을 보여준다.
• 이 방법은 매개변수 공간의 매끄럽고 역행 가능성이 있는 변환에 대해 불변성을 가지며, 이는 비제약 모드의 기하학적 성격을 반영한다.

실험 결과

연구 질문

• RQ1 노이즈 모델 R→M이 알려져 있거나 근사적으로 알려져 있지 않은 경우, 상호정보량 최대화가 우도 기반 추론의 강력한 대안이 될 수 있는가?
• RQ2 우도 기반 추론 대신 상호정보량 최대화를 사용할 경우 매개변수 공간에 어떤 구조적 특징이 드러나는가?
• RQ3 매개변수 공간 내 비제약 방향(디피오모르픽 모드)을 어떻게 체계적으로 식별하고 특성화할 수 있는가?
• RQ4 I[M;R]을 최대화하는 방식이 왜 데이터 처리 부등식을 만족하는 모든 종속도 측정법을 최적화하는가?
• RQ5 고차원 추론의 맥락에서 디피오모르픽 모드의 기초적인 기하학적 및 통계적 기원은 무엇인가?

주요 결과

• 대량의 데이터에서 상호정보량 I[M;R]을 최대화하면 잘못된 노이즈 모델로 인한 편향을 피할 수 있는 우도 기반 추론의 대체 방법이 된다.
• 이 방법은 데이터 처리 부등식을 만족하는 모든 종속도 측정법을 동시에 최적화하므로, 종속도 측정법의 선택에 대해 강건하다.
• 상호정보량 최대화 후에도 항상 소수의 비제약 매개변수 방향—즉, 디피오모르픽 모드—가 남아 있으며, 이는 매개변수 식별 가능성의 본질적 한계를 반영한다.
• 이러한 디피오모르픽 모드는 필터 매핑의 야코비안과 표현 공간의 기하학에 기반한 방정식을 통해 체계적으로 유도된다.
• 디피오모르픽 모드의 존재는 표준 우도 기반 추론이 가려내는 바가 아닌, 매개변수 공간 내 비트리비어한 하위구조를 드러낸다.
• 이 프레임워크는 상호정보량 최대화가 단지 강건할 뿐 아니라, 추론 문제의 전체 기하학적 구조를 드러내므로 본질적으로 더 정보가 많다는 것을 보여준다.