[논문 리뷰] Statistical properties of interaction parameter estimates in direct coupling analysis

Yingying Xu, Erik Aurell외 2명|arXiv (Cornell University)|2017. 04. 05.

Theoretical and Computational Physics인용 수 3

한 줄 요약

이 논문은 무작위 데이터 가정 하에 직접 상호작용 분석(DCA)에서 상호작용 파라미터 추정치의 통계적 성질을 조사한다. 특히 정규화된 최소 제곱법(RLS)과 의사우도 최대화(plmDCA)에 초점을 맞춘다. 분석적으로 가우시안 분포를 띠는 데이터는 추정된 상호작용 상수도 가우시안 분포를 따르며, 부울(Boolean) 데이터의 경우 표준화 후 유니버설 스케일링 함수를 통해 상호작용 분포를 특성화할 수 있다. 이는 작은 시뮬레이션으로부터 극단적인 상호작용 분포를 추론할 수 있음을 의미한다.

ABSTRACT

We consider the statistical properties of interaction parameter estimates obtained by the direct coupling analysis (DCA) approach to learning interactions from large data sets. Assuming that the data are generated from a random background distribution, we determine the distribution of inferred interactions. Two inference methods are considered: the L2 regularized naive mean-field inference procedure (regularized least squares, RLS), and the pseudo-likelihood maximization (plmDCA). For RLS we also study a model where the data matrix elements are real numbers, identically and independently generated from a Gaussian distribution; in this setting we analytically find that the distribution of the inferred interactions is Gaussian. For data of Boolean type, more realistic in practice, the inferred interactions do not generally follow a Gaussian. However, extensive numerical simulations indicate that their distribution can be characterized by a single function determined by a few system parameters after normalization by the standard deviation. This property holds for both RLS and plmDCA and may be exploitable for inferring the distribution of extremely large interactions from simulations for smaller system sizes.

연구 동기 및 목표

• 무작위 데이터 가정 하에 DCA로 추정한 상호작용 파라미터의 배경 분포를 체계적으로 연구하기 위해.
• 기본 진실이 제공되지 않을 경우 DCA 예측의 통계적 유의성을 평가하는 데 도전하는 문제를 해결하기 위해.
• 작은 시스템에서의 시뮬레이션을 통해 극단적으로 큰 상호작용 상수의 분포를 추정하는 가용성 있는 방법을 개발하기 위해.
• 정규화된 최소 제곱법(RLS)과 의사우도 최대화(plmDCA)라는 두 주요 DCA 추론 방법의 통계적 행동을 비교하기 위해.
• 다양한 시스템 파라미터에 걸쳐 상호작용 상수 분포를 특성화하는 데 단일 유니버설 스케일링 함수를 사용할 수 있는지 탐색하기 위해.

제안 방법

• L2 정규화를 사용한 정규화된 최소 제곱법(RLS)을 적용하여 데이터로부터 상호작용 파라미터를 추정하고, 평균장 근사 하에 역공분산행렬을 모델링한다.
• 독립 동일분포(i.i.d.) 가우시안 분포를 띠는 데이터 요소의 경우, 분석적으로 추정된 상호작용 상수가 가우시안 분포를 따른다는 것을 도출한다.
• 다양한 시스템 파라미터(비율 α, 정규화 파라미터 λ, 열 편향 fi)에서 변화하는 조건 하에 부울 분포 데이터(±1)를 사용한 광범위한 수치 시뮬레이션을 수행하여 상호작용 분포를 연구한다.
• 표준편차로의 정규화를 통해 다양한 시스템 크기에서의 상호작용 분포를 하나의 유니버설 스케일링 함수로 압축한다.
• 해석식이 구하기 어려운 비선형 추론 방법인 plmDCA에 분석을 확장하였으며, 수치 결과는 동일한 스케일링 행동을 보임을 확인한다.
• 순위도 및 로그히스토ограм을 사용하여 尾부 행동을 시각화하고, RLS 및 plmDCA 양쪽 모두에 대해 스케일링 성질을 검증한다.

실험 결과

연구 질문

• RQ1 데이터 요소가 i.i.d. 가우시안일 경우, RLS를 통해 추정된 상호작용 파라미터의 분석적 분포는 무엇인가?
• RQ2 부울 분포를 띠는 데이터 하에서 DCA로 추정된 상호작용 상수의 통계적 성질은 어떻게 변화하며, 이를 유니버설하게 특성화할 수 있는가?
• RQ3 RLS 및 plmDCA 양쪽 모두에서 서로 다른 시스템 크기와 파라미터에 걸쳐 상호작용 분포를 설명하는 데 단일 스케일링 함수를 사용할 수 있는가?
• RQ4 관측된 스케일링 행동을 기반으로 작은 시스템에서의 시뮬레이션을 통해 극단적으로 큰 상호작용 상수의 분포를 어느 정도 추론할 수 있는가?
• RQ5 무작위 데이터 하에서 추론 방법의 선택(RLS 대 plmDCA)이 추정된 상호작용 상수의 통계적 성질에 어떤 영향을 미치는가?

주요 결과

• 데이터 행렬 요소가 i.i.d. 가우시안일 경우, RLS를 통해 추정된 상호작용 파라미터는 분석적으로 유도 가능한 가우시안 분포를 따른다.
• 부울 분포 데이터의 경우, 표준편차로 정규화한 후 서로 다른 시스템 크기에서 추정된 상호작용 상수의 분포가 하나의 유니버설 스케일링 함수에 수렴한다.
• 이 스케일링 성질은 RLS 및 plmDCA 양쪽 모두에 대해 성립하며, 추론 방법의 복잡성과는 무관한 강력한 통계적 행동을 나타낸다.
• 정규화된 상호작용 상수 분포의 꼬리 부분은 약간의 가우시안 분포에 가까이 수렴하며, 이는 순위도에서 외삽된 꼬리 부분이 극히 드문 예측의 상한선로 사용될 수 있음을 시사한다.
• 이 스케일링 함수는 비율 α, 정규화 파라미터 λ, 열 편향 fi 등의 몇 가지 시스템 파라미터에만 의존하므로 효율적인 배경 모델링이 가능하다.
• 관측된 스케일링 행동 덕분에, plmDCA와 같이 계산 비용이 높은 방법의 경우에도 작은 시스템에서의 시뮬레이션을 통해 극단적 상호작용 분포를 추론할 수 있다.