[논문 리뷰] Measuring Mutual Information in Random Boolean Networks

Bartolo Luque, Antonio Ferrera|arXiv (Cornell University)|1999. 09. 03.

Gene Regulatory Network Analysis참고 문헌 17인용 수 15

한 줄 요약

이 논문은 평균장 근사와 마르코프 동역학을 사용하여 무작위 부울 네트워크(RBNs)에서 상호정보량을 조사하며, 해석적이고 수치적으로도 과거-미래 상호정보량이 질서-비질서 전이점에서 정확히 최대에 이르는 것을 보여주어, 복잡한 시스템이 혼돈의 가장자리에서 최대의 정보 처리를 한다는 가설을 지지한다.

ABSTRACT

During the last few years an area of active research in the field of complex systems is that of their information storing and processing abilities. Common opinion has it that the most interesting beaviour of these systems is found ``at the edge of chaos'', which would seem to suggest that complex systems may have inherently non-trivial information proccesing abilities in the vicinity of sharp phase transitions. A comprenhensive, quantitative understanding of why this is the case is however still lacking. Indeed, even ``experimental'' (i.e., often numerical) evidence that this is so has been questioned for a number of systems. In this paper we will investigate, both numerically and analitically, the behavior of Random Boolean Networks (RBN's) as they undergo their order-disorder phase transition. We will use a simple mean field approximation to treat the problem, and without lack of generality we will concentrate on a particular value for the connectivity of the system. In spite of the simplicity of our arguments, we will be able to reproduce analitically the amount of mutual information contained in the system as measured from numerical simulations.

연구 동기 및 목표

• 무작위 부울 네트워크(RBNs)에서 상호정보량이 질서-비질서 전이점에서 최대에 이르는지 조사하는 것.
• 관측된 복잡성 최댓값이 선택된 비질서 측정법의 산물인지에 대한 논란을 해결하기 위해, 다양한 엔트로피 측정법에 대해 상호정보량을 분석하는 것.
• 해석적이고 수치적 방법을 통해 혼돈의 가장자리에서 최대 정보 처리가 일어나는 가설을 검증하는 것.
• 특정 비질서 매개변수에 관계없이 질서와 비질서 단계 사이의 전이점이 최대 상호정보량의 근원임을 명확히 하는 것.

제안 방법

• RBN의 동역학을 단순화하여 접근 가능한 통계적 프레임워크로 만들기 위해 평균장 근사를 사용한다.
• 마르코프 추측을 적용하여 각 오토마타의 다음 상태가 입력의 현재 상태에만 의존한다고 가정함으로써 조건부 엔트로피의 해석적 처리를 가능하게 한다.
• 접근도 $ p $가 네트워크 연결성과 동역학을 제어함에 따라, 한 오토마타의 엔트로피 $ H(x_{t+1}) $와 조건부 엔트로피 $ H(x_{t+1} \mid x_t) $를 함수로 계산한다.
• 상호정보량 $ I = H(x_{t+1}) - H(x_{t+1} \mid x_t) $를 $ H(x_{t+1}) $의 함수로 분석하여 전이 영역에서의 행동을 보여준다.
• 수치 시뮬레이션과의 비교를 통해 해석적 예측의 타당성을 검증한다.
• Li의 주장과 같은 모순된 비판을 재해석하여, 전이 경계를 유지하는 한 어떤 비질서 측정법을 사용하든 상관없이 최대 상호정보량이 여전히 전이점에 위치함을 보여준다.

실험 결과

연구 질문

• RQ1 무작위 부울 네트워크에서 상호정보량은 질서-비질서 전이점에서 최대에 이르는가?
• RQ2 비질서 측정법의 선택(예: $ H(x_{t+1}) $ 대비 $ H(x_{t+1} \mid x_t) $)이 상호정보량 최댓값의 위치에 어떻게 영향을 미치는가?
• RQ3 마르코프 가정을 포함한 평균장 근사는 수치 시뮬레이션에서 관찰된 상호정보량 행동을 정확히 재현할 수 있는가?
• RQ4 전이점에서의 상호정보량 최댓값은 측정법의 산물일 뿐인가, 아니면 복잡한 시스템의 본질적 성질인가?
• RQ5 왜 상호정보량은 질서 또는 비질서 단계의 끝부분이 아니라 전이점에서 최댓값을 이룬다는가?

주요 결과

• RBN의 과거와 미래 상태 사이의 상호정보량 $ I $는 질서-비질서 전이점에서 최대에 이르며, 이는 해석적·수치적 방법으로 모두 확인되었다.
• $ p \leq p_c $ 인 영역에서는 $ H(x_{t+1} \mid x_t) = 0 $ 이므로 $ I = H(x_{t+1}) $가 되어, 상호정보량이 한 오토마타 엔트로피와 함께 선형으로 증가한다.
• $ p = p_c $ 에서 상호정보량은 최대값에 도달하며, 이는 시스템이 질서적 동역학에서 비질서적 동역학으로 전이되는 임계 비율에 해당한다.
• $ p_c $ 초과에서는 $ H(x_{t+1} \mid x_t) $ 가 $ H(x_{t+1}) $ 보다 더 빠르게 증가하여 $ I $ 가 비선형적으로 감소함을 확인하여 상호정보량의 단일 최댓값 특성을 확인한다.
• 상호정보량의 최댓값은 강건하며, $ H(x_{t+1} \mid x_t) $ 를 비질서 매개변수로 사용하더라도 전이점에 위치한다. 이는 $ H(x_{t+1} \mid x_t) = 0 $ 이 전체 임계 영역을 포함하기 때문이다.
• Li의 이전 비판을 해결하기 위해, 전이 경계를 유지할 경우 단일 최댓값 관계가 유지되며 최댓값이 매개변수 공간의 끝부분이 아니라 전이점에 위치함을 보여주었다.