[논문 리뷰] Geometry of Information Integration

Шун-ичи Амари, Naotsugu Tsuchiya외 1명|arXiv (Cornell University)|2017. 09. 07.

Topological and Geometric Data Analysis참고 문헌 11인용 수 8

한 줄 요약

이 논문은 정보 기하학을 사용하여 인과적 동적 시스템에서의 통합 정보 측정법 네 가지를 분석하고 비교하며, 이중 평탄하고 굴곡진 다양체를 통해 그들 간의 계층적 관계를 드러낸다. 기하학적 통합 정보 측정법 ΦG가 인과적 영향을 정확히 분리하므로 가장 적절하다는 것이 입증되며, ΦFS, ΦDS, ΦMD는 모델 복잡도와 KL 발산 최소화 기반으로 중첩된 계층을 이룬다.

ABSTRACT

Information geometry is used to quantify the amount of information integration within multiple terminals of a causal dynamical system. Integrated information quantifies how much information is lost when a system is split into parts and information transmission between the parts is removed. Multiple measures have been proposed as a measure of integrated information. Here, we analyze four of the previously proposed measures and elucidate their relations from a viewpoint of information geometry. Two of them use dually flat manifolds and the other two use curved manifolds to define a split model. We show that there are hierarchical structures among the measures. We provide explicit expressions of these measures.

연구 동기 및 목표

• 인과 시스템에서 다양한 통합 정보 측정법의 수학적 및 기하학적 성격을 명확히 하기 위해.
• 정보 기하학의 프레임워크를 사용하여 이전에 제안된 네 가지 통합 정보 측정법을 비교하기 위해.
• 기본 통계 다원체의 구조에 기반하여 이 측정법들 간의 계층적 관계를 수립하기 위해.
• 분할 모델에서 임의의 상관관계를 최소화함으로써 순수한 인과적 영향을 가장 잘 분리하는 측정법을 특정하기 위해.
• 각 통합 정보 측정법에 대해 명시적인 표현과 기하학적 해석을 제공하기 위해.

제안 방법

• 전체 시스템과 네 가지 다른 분할 모델을 통계 다원체로 모델링하기 위해 정보 기하학을 사용한다.
• 통합 정보를 전체 연합 분포 p(x,y)와 분할 모델 q(x,y) 사이의 최소화된 킬비블레르( KL) 발산으로 정의한다.
• 이중 평탄한 다원체(지수족 및 혼합족)를 적용하여 피타고라스 투영을 통해 ΦFS와 ΦDS의 명시적 표현을 유도한다.
• ΦG와 ΦMD는 굴곡진 다원체로 모델링한다: ΦG는 기하학적 인과적 분할을 통해, ΦMD는 매개변수 β를 가진 불일치 복원 모델을 통해.
• 해석적 해가 계산이 곤란한 비평탄한 모델의 경우 수치 최적화(예: 경사 하강법)를 사용하여 최적의 q*를 계산한다.
• 각 측정법의 분할 모델 다원체 간 포함 관계를 분석함으로써 네 가지 측정법을 비교한다(예: MDS ⊃ MFS, MG ⊃ MFS).

실험 결과

연구 질문

• RQ1 통합 정보 이론에서의 다양한 분할 모델 정의가 정보 기하학 내에서 기하학적으로 어떻게 관련되어 있는가?
• RQ2 네 가지 통합 정보 측정법 ΦFS, ΦDS, ΦG, ΦMD 간의 계층적 관계는 무엇인가?
• RQ3 왜 기하학적 측정법 ΦG는 인과적 정보 통합을 측정하는 데 다른 측정법보다 더 적절한가?
• RQ4 이러한 측정법들이 자연스러운 범위 0 ≤ Φ ≤ I(X,Y)를 얼마나 잘 만족하는가, 그리고 왜 ΦFS는 이를 위반하는가?
• RQ5 ΦG와 ΦMD와 같은 굴곡진 다원체에 대해 KL 발산 최소화를 효율적으로 계산할 수 있는가, 그리고 계산적 과제는 무엇인가?

주요 결과

• 네 가지 측정법은 분할 모델 다원체 간 포함 관계로 인해 계층적 구조를 이룬다: ΦFS ≥ ΦDS, ΦMD ≥ ΦDS, ΦFS ≥ ΦG.
• 완전히 분할된 모델 MFS는 MDS와 MG에 포함되지만, 독립 분포 P_ind를 포함하지 않으며, 이것이 0 ≤ Φ ≤ I(X,Y)의 범위 위반의 핵심 원인이다.
• 기하학적 측정법 ΦG가 가장 적절한 이유는 인과적 영향을 오직 파art 간의 상관관계만 제거함으로써 순수한 인과적 영향을 정확히 분리하기 때문이다.
• ΦDS와 ΦFS는 이중 평탄한 다원체를 기반으로 하여 혼합 좌표계에서 피타고라스 투영을 통해 최적의 q*를 해석적으로 계산할 수 있다.
• ΦG와 ΦMD는 굴곡진 다원체를 기반으로 하여 해석적 해가 계산이 곤란하지만, KL 발산 최소화 문제는 여전히 볼록성을 유지하므로 수치적으로 해를 구할 수 있다.
• 독립 분포 P_ind는 MDS, MG, MMD에 포함되지만 MFS에는 포함되지 않으며, 이는 MFS가 통합 정보의 자연스러운 범위를 만족하지 못하는 이유를 설명한다.