[논문 리뷰] A Compression-Complexity Measure of Integrated Information

Mohit Virmani, Nithin Nagaraj|arXiv (Cornell University)|2016. 08. 23.

Fractal and DNA sequence analysis참고 문헌 3인용 수 4

한 줄 요약

이 논문은 통합 정보 이론(IIT)의 핵심 한계를 극복하기 위해 계산 효율성, 상태 독립성, 실제 신경 데이터 적용이 가능한 새로운 압축-복잡도 측정법인 ΦC를 제안한다. 손실 없는 압축(ETC 및 LZ)을 활용해 역학적 복잡도를 측정하며, 네트워크 전반에서 Φ와 강한 계층적 일致성을 보이며 통합성, 분화성, 엔트로피 간의 견고한 연관성을 보여준다.

ABSTRACT

Quantifying integrated information is a leading approach towards building a fundamental theory of consciousness. Integrated Information Theory (IIT) has gained attention in this regard due to its theoretically strong framework. However, it faces some limitations such as current state dependence, computationally expensive and inability to be applied to real brain data. On the other hand, Perturbational Complexity Index (PCI) is a clinical measure for distinguishing different levels of consciousness. Though PCI claims to capture the functional differentiation and integration in brain networks (similar to IIT), its link to integrated information theories is rather weak. Inspired by these two approaches, we propose a new measure - $Φ^C$ using a novel compression-complexity perspective that serves as a bridge between the two, for the first time. $Φ^C$ is founded on the principles of lossless data compression based complexity measures which characterize the dynamical complexity of brain networks. $Φ^{C}$ exhibits following salient innovations: (i) mathematically well bounded, (ii) negligible current state dependence unlike $Φ$, (iii) integrated information measured as compression-complexity rather than as an infotheoretic quantity, and (iv) faster to compute since number of atomic bipartitions scales linearly with the number of nodes of the network, thus avoiding combinatorial explosion. Our computer simulations show that $Φ^C$ has similar hierarchy to $$ for several multiple-node networks and it demonstrates a rich interplay between differentiation, integration and entropy of the nodes of a network. $Φ^C$ is a promising heuristic measure to characterize the quantity of integrated information (and hence a measure of quantity of consciousness) in larger networks like human brain and provides an opportunity to test the predictions of brain complexity on real neural data.

연구 동기 및 목표

• 대규모 네트워크에서 통합 정보(Φ)의 계산 비용 문제와 현재 상태 의존성 문제를 해결하기 위해.
• 통합 정보 이론(IIT)과 임상적으로 널리 사용되는 자극 복잡도 지수(PCI) 사이의 이론적 격차를 메우기 위해.
• 데이터 압축 원리를 활용해 확장 가능하고 강건하며 신경생리학적으로 적용 가능한 통합 정보 측정법을 개발하기 위해.
• 복잡계의 실제 신경 시계열 데이터를 기반으로 의식 이론을 테스트할 수 있도록 하기 위해.

제안 방법

• 역동적 복잡도를 측정하기 위해 노력-압축(ETC) 및 레플-지브(LZ) 복잡도를 기반으로 한 ΦC라는 압축-복잡도 측정법을 제안한다.
• 개별 노드에 자극을 가하고 나머지 노드들에 대한 차등 압축-복잡도 반응 분포(dCCRD)를 계산한다.
• 모든 원자적 이분할(예: A–BC, B–AC, C–AB)에 대해 dCCRD 값을 집계하여 집계된 차등 압축-복잡도 측정법을 계산한다.
• 최종 측정법인 ETCΦC를 모든 가능한 이분할에 대해 집계된 dCCRD 값 중 최댓값으로 정의한다.
• 노드 엔트로피와 네트워크 크기를 변수로 사용해 선형 회귀 모델을 구축하여 ΦC를 엔트로피 구성요소로부터 예측하는 데 coefficients를 피팅한다.
• XOR, AND, OR 논리 게이트를 갖는 합성 네트워크와 스파iking 동역학을 갖는 힌다마르시-로즈 뉴런 모델에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 압축-복잡도 측정법이 소규모 네트워크 전반에서 Φ의 계층적 구조를 재현할 수 있는가?
• RQ2 ΦC는 계산 비용과 네트워크 상태에 대한 민감도 측면에서 Φ와 비교해 어떻게 다른가?
• RQ3 합성 논리 네트워크에서 ΦC는 엔트로피와 네트워크 크기와 얼마나 강하게 상관되는가?
• RQ4 히нд마르시-로즈 모델과 같은 생물학적으로 현실적인 뉴런 모델의 시계열 데이터에서 ΦC를 신뢰성 있게 계산할 수 있는가?
• RQ5 ΦC는 복잡한 네트워크에서 통합성, 분화성, 엔트로피 간에 의미 있는 상호작용을 보여주는가?

주요 결과

• ΦC는 모든 3노드 논리 네트워크에서 <Φ>와 일致하는 계층적 구조를 보이며, 선형 회귀 분석에서 예측된 값(Ŷ)이 실제 <Φ> 값과 밀접하게 일치한다.
• nhighHhigh와 nlowHlow를 예측변수로 사용한 선형 회귀 모델은 뛰어난 적합도를 보였으며, ˆxhigh = 1.11과 ˆxlow = 0.1408로 강력한 설명력을 나타낸다.
• ΦC는 계산 효율성이 매우 높으며, 이분할 수가 노드 수에 대해 선형적으로 증가하여 Φ의 조합 폭발 문제를 피한다.
• 히нд마르시-로즈 모델에서는 I = 3.310(정규 스파이크 발생)과 I = 3.28(혼돈 상태 스파이크 발생)에서 유도된 스파이크 시계열을 사용해 엔트로피와 압축 복잡도를 계산하였다.
• 3노드 예제에서 모든 이분할에 대해 계산된 최대 ETCΦC 값은 0.548로, 집계된 dCCRD 값의 최댓값으로 산정되었다.
• ΦC는 Φ와 달리 현재 상태 의존성이 거의 없으며, 수학적으로 잘 경계되어 있어 실제 응용에 적합하다.