[논문 리뷰] When are correlations strong?

Feraz Azhar, William Bialek|arXiv (Cornell University)|2010. 12. 29.

Neural dynamics and brain function참고 문헌 24인용 수 7

한 줄 요약

이 논문은 이징 모델에서 상관 계수의 4차까지의 섭동 전개를 개발하여, 네트워크가 크고 널리 퍼져 있을 경우 조건부 상관관계가 약할지라도 집단적 효과가 상당히 클 수 있음을 보여준다. 핵심 발견은 최대 엔트로피 모델이 강한 상관관계 때문이 아니라, 1차 섭동 이론을 넘어서서만 포착할 수 있는 집단적 영향이 비정상적인 네트워크 행동을 이끄는 데 성공한다는 것이다.

ABSTRACT

The inverse problem of statistical mechanics involves finding the minimal Hamiltonian that is consistent with some observed set of correlation functions. This problem has received renewed interest in the analysis of biological networks; in particular, several such networks have been described successfully by maximum entropy models consistent with pairwise correlations. These correlations are usually weak in an absolute sense (e.g., correlation coefficients ~ 0.1 or less), and this is sometimes taken as evidence against the existence of interesting collective behavior in the network. If correlations are weak, it should be possible to capture their effects in perturbation theory, so we develop an expansion for the entropy of Ising systems in powers of the correlations, carrying this out to fourth order. We then consider recent work on networks of neurons [Schneidman et al., Nature 440, 1007 (2006); Tkacik et al., arXiv:0912.5409 [q-bio.NC] (2009)], and show that even though all pairwise correlations are weak, the fact that these correlations are widespread means that their impact on the network as a whole is not captured in the leading orders of perturbation theory. More positively, this means that recent successes of maximum entropy approaches are not simply the result of correlations being weak.

연구 동기 및 목표

• 최대 엔트로피 모델이 약한 개별 상관관계에도 불구하고 생물학적 네트워크를 잘 기술할 수 있는 이유에 대한 명백한 역설을 해결하기 위해.
• 상관 계수의 거듭제곱에 따라 이징 모델의 엔트로피에 대한 체계적인 섭동 전개를 개발하여, 1차 근사 이상의 범위로 확장하기 위해.
• 넓게 퍼져 있는 약한 상관관계가 전역 네트워크 행동에 기여하는 정도를 정량화하기 위해, 특히 신경망과 단백질 상호작용 네트워크의 맥락에서.
• 최대 엔트로피 모델의 성공이 약한 상관관계의 결과이기만 한 것이 아니라, 많은 약한 상관관계가 집합적으로 일으키는 비섭동적 집단 효과를 반영하기 때문임을 명확히 하기 위해.

제안 방법

• 누적모멘트 전개 기법을 사용하여, 이징 시스템의 엔트로피를 상관 계수의 4차까지의 섭동 전개로 유도한다.
• 엔트로피를 상관 함수의 거듭제곱에 대한 급수로 표현하며, 이중, 삼중, 사중 상관관계를 포함한 4차까지의 명시적 항들을 포함한다.
• 영자일 빈도 이징 모델을 기준 상태로 삼고, 비영자일 상관관계에 의한 수정 사항을 통계역학적 평균을 통해 계산한다.
• 고차항에 대한 별개의 위상적 기여를 식별: 쌍 인덱스(예: i=j, k=l)와 삼중 인덱스(예: i=j=k)로, 적절한 대칭 인자와 함께.
• 모든 결과를 상관 계수 $ C_{ij} $, 평균 활성도 $ \langle \sigma_i \rangle^{(0)} $, 및 평균제곱근 변동 $ (\delta\sigma_i)^{(0)}_{\text{rms}} $ 로 표현한다.
• 3차 및 4차 엔트로피 수정항에 대한 명시적 공식을 유도하며, $ C_{ij}^3 $, $ C_{ij}^4 $, 그리고 연결된 4점 상관관계를 포함한다.

실험 결과

연구 질문

• RQ1 왜 약한 상호쌍 상관관계를 기반으로 하는 최대 엔트로피 모델이 개별 상관관계가 약함에도 불구하고 복잡한 생물학적 네트워크를 잘 기술할 수 있는가?
• RQ2 약한 상관관계의 영향은 엔트로피 전개의 섭동 이론으로 어느 정도까지 기술될 수 있는가?
• RQ3 강한 상관관계보다 널리 퍼져 있는 상관관계가 대규모 네트워크에서 집단적 행동을 유도하는 데 어떤 역할을 하는가?
• RQ4 2차 이상의 고차 상관 기여(특히 2차를 초월하는 항들)는 엔트로피에 어떻게 영향을 주며, 이로 인해 네트워크의 전반적 구조에 어떤 영향을 미치는가?
• RQ5 최대 엔트로피 모델의 성공은 많은 약한 상관관계가 집합적으로 일으키는 비섭동 효과에 의해 설명될 수 있는가?

주요 결과

• 3차 엔트로피 수정항은 두 가지 별개의 기여를 포함한다: 삼각형을 이루는 세 상관관계($ C_{ij}C_{jl}C_{li} $)에서 비롯하는 기여와 동일한 쌍에 대한 삼중 상관관계($ C_{ij}^3 $)에서 비롯하는 기여로, 평균 활성도에 의존한다.
• 4차 엔트로피 수정항은 $ C_{ij}^4 $, $ C_{ij}^2 C_{in}^2 $, 그리고 $ C_{ij}C_{jn}C_{nl}C_{li} $와 같은 연결된 4점 상관관계를 포함하며, 이는 인덱스가 닫힌 고리(閉ループ)를 이룰 때에만 비영이 된다.
• $ C_{ij}^3 $ 및 $ C_{ij}^4 $ 항에 평균 활성도 및 변동 요소가 포함되어 있음으로써, 약한 상관관계일지라도 비정규, 비섭동 효과가 존재함을 보여준다.
• 개별적으로 작지만 많은 약한 상관관계의 집단적 영향은 1차 근사 이상에서 상당한 엔트로피 수정항을 유도하며, 이는 최대 엔트로피 모델의 성공을 설명한다.
• 전개 결과에 따르면, 상관관계가 많고 약할 경우 섭동 이론은 상관관계의 전체 영향을 포착하지 못함을 보여주며, 이는 정확한 모델링을 위해 고차항이 필수적임을 시사한다.
• 결과적으로, 이중 최대 엔트로피 모델의 성공은 강한 상관관계 때문이 아니라, 네트워크 전반에 퍼져 있는 약한 상관관계의 분포가 비정상적인 집단 행동을 유도하며, 이는 저차 근사에서 놓치는 요소임을 입증한다.