[논문 리뷰] A novel approach to multivariate redundancy and synergy.

Artemy Kolchinsky|arXiv (Cornell University)|2019. 08. 23.

Bayesian Modeling and Causal Inference참고 문헌 48인용 수 10

한 줄 요약

이 논문은 다수의 소스에서 임의의 수의 소스에 걸쳐 재결합, 고유, 상호작용 및 집합적 구성요소로 다변량 정보를 분해하는 새로운 프레임워크를 소개한다. 집합론적 유사성, 블랙웰 정리에 기반한 의사결정 이론 원리, 그리고 축약 공리적 유도를 통합함으로써 포함-배제 원칙을 완화함으로써 정보 분해 측정치의 더 넓은 유연성과 일반화 가능성을 가능하게 한다.

ABSTRACT

Consider a situation in which a set of $n$ source random variables $X_{1},\dots,X_{n}$ have about some random variable $Y$. For example, in neuroscience $Y$ might represent the state of an external stimulus and $X_{1},\dots,X_{n}$ the activity of $n$ different brain regions. Recent work in theory has considered how to decompose the that the sources $X_{1},\dots,X_{n}$ provide about the target $Y$ into separate terms such as (1) the redundant information that is shared among all of sources, (2) the unique information that is provided only by a single source, (3) the synergistic information that is provided by all sources only when considered jointly, and (4) the information that is provided by at least one source. We propose a novel framework deriving such a decomposition that can be applied to any number of sources. Our measures are motivated in three distinct ways: via a formal analogy to intersection and union operators in set theory, via a decision-theoretic operationalization based on Blackwell's theorem, and via an axiomatic derivation. A key aspect of our approach is that we relax the assumption that measures of redundancy and union should be related by the inclusion-exclusion principle. We discuss relations to previous proposals as well as possible generalizations.

연구 동기 및 목표

• 목표 변수에 대해 다수의 소스가 제공하는 정보를 재결합, 고유, 상호작용 및 집합적 구성요소로 분해하기 위한 일반적 프레임워크를 개발하는 것.
• 집합론적 유사성, 블랙웰 정리 기반 의사결정 이론, 축약 공리적 유도라는 세 가지 서로 다른 동기를 통합하여 일관된 정보 분해 모델을 만드는 것.
• 재결합 및 유니온 측정치에서 포함-배제 원칙을 엄격히 준수하는 것에서 자유로워지도록 하여 더 유연하고 현실적인 정보 분해를 가능하게 하는 것.
• 이전의 두 소스 또는 제한된 소스 접근 방식을 초월하여 임의의 수의 소스 변수에 적용 가능한 형식적이고 확장 가능한 방법을 제공하는 것.
• 기존 제안들과의 관계를 설정하고 다변량 정보 이론에서의 일반화 가능성을 위한 길을 제시하는 것.

제안 방법

• 프레임워크는 다수의 소스에서 온 정보의 재결합과 유니온을 정의하기 위해 집합론적 교차 및 합집합 연산에 대한 형식적 유사성을 사용한다.
• 블랙웰 정리를 통해 정보 측정치를 실현함으로써 재결합과 상호작용이 최소한의 가정 하에 의사결정 이론적 최적성에 기반함을 확보한다.
• 축약 공리적 유도를 통해 제안된 측정치가 기본적인 정보 이론 원리에 따라 일관성과 통일성을 확보한다.
• 재결합과 유니온이 포함-배제 원칙을 반드시 만족해야 한다는 요구를 명시적으로 완화함으로써 더 넓은 모델링의 유연성을 허용한다.
• 재결합을 모든 소스에서 공유되는 최소 정보로 정의하고, 상호작용을 모든 소스가 함께 결합되었을 때만 접근 가능한 정보로 정의한다.
• 다변량 상호정보 항목의 일관된 집계를 통해 임의의 수의 소스로 일반화된 정보 분해 구성요소를 정의한다.

실험 결과

연구 질문

• RQ1 표준적인 두 소스 프레임워크를 초월하여, 정보 분해를 임의의 수의 소스로 일관되게 확장할 수 있는 방법은 무엇인가?
• RQ2 포함-배제 원칙을 강제하지 않으면서도 집합 연산에 대한 유사성을 사용하여 재결합과 상호작용을 공식적으로 정의할 수 있는 방법은 무엇인가?
• RQ3 블랙웰 정리에서 유도된 의사결정 이론 원리는 정보 분해를 행동적으로 의미 있는 방식으로 실현하기 위해 어떻게 활용될 수 있는가?
• RQ4 제안된 분해 프레임워크에서 일관성과 유일성을 보장하는 축약 공리적 제약 조건은 무엇인가?
• RQ5 제안된 측정치는 다변량 정보 이론에서 기존 접근 방식과 어떻게 비교되며, 이를 어떻게 일반화하는가?

주요 결과

• 제안된 프레임워크는 이전의 두 소스 또는 제한된 모델의 한계를 넘어서 임의의 수의 소스로 정보 분해를 성공적으로 일반화한다.
• 포함-배제 원칙을 완화함으로써, 복잡한 시스템에서 재결합 및 상호작용 정보의 더 현실적인 모델링이 가능해진다.
• 집합론적, 의사결정 이론적, 축약 공리적 접근의 통합은 정보 구성요소를 정의하는 데 있어 강력하고 일관된 기반을 제공한다.
• 수학적으로 일관되면서도 해석 가능한 방식으로 고유, 재결합, 상호작용 및 집합적 정보 구성요소를 정의할 수 있다.
• 기존 제안들과의 공식적 관계를 설정하여 호환성을 보이며, 그 범위와 유연성을 확장한다.
• 이 접근법은 다변량 시스템에서 고차원 및 비이진 정보 구조로의 일반화 가능성을 제시한다.