[논문 리뷰] The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal

Robin A. A. Ince|arXiv (Cornell University)|2017. 02. 06.

Computational Drug Discovery Methods인용 수 15

한 줄 요약

이 논문은 다변량 엔트로피에 부분 정보 분해(PID) 체계를 적용하는 데에 초점을 맞춘 새로운 프레임워크인 부분 엔트로피 분해(PED)를 소개한다. 이는 국소 공통 놀라움(pointwise common surprisal)을 사용하여 엔트로피의 중복, 고유, 상호작용 성분을 정량화한다. 주요 기여는 상호정보량이 본질적으로 상호작용 효과를 포함하고 있음을 밝혀내며, PID 일致성 문제를 명확히 하고 기계적 중복과 원천 중복을 별도로 정량화할 수 있도록 한다.

ABSTRACT

Obtaining meaningful quantitative descriptions of the statistical dependence within multivariate systems is a difficult open problem. Recently, the Partial Information Decomposition (PID) was proposed to decompose mutual information (MI) about a target variable into components which are redundant, unique and synergistic within different subsets of predictor variables. Here, we propose to apply the elegant formalism of the PID to multivariate entropy, resulting in a Partial Entropy Decomposition (PED). We implement the PED with an entropy redundancy measure based on pointwise common surprisal; a natural definition which is closely related to the definition of MI. We show how this approach can reveal the dyadic vs triadic generative structure of multivariate systems that are indistinguishable with classical Shannon measures. The entropy perspective also shows that misinformation is synergistic entropy and hence that MI itself includes both redundant and synergistic effects. We show the relationships between the PED and MI in two predictors, and derive two alternative information decompositions which we illustrate on several example systems. This reveals that in entropy terms, univariate predictor MI is not a proper subset of the joint MI, and we suggest this previously unrecognised fact explains in part why obtaining a consistent PID has proven difficult. The PED also allows separate quantification of mechanistic redundancy (related to the function of the system) versus source redundancy (arising from dependencies between inputs); an important distinction which no existing methods can address. The new perspective provided by the PED helps to clarify some of the difficulties encountered with the PID approach and the resulting decompositions provide useful tools for practical data analysis across a wide range of application areas.

연구 동기 및 목표

• 기존 정보이론이 동일한 샤논 측도를 가졌지만 다른 생성 메커니즘을 가진 시스템에서 의미 있는 다변량 의존성 구조를 포착하지 못하는 데서 비롯된 한계를 해결하기 위해.
• PID 프레임워크 내에서 일관된 중복 측정법을 정의하는 데 있어 지속적인 어려움을 해결하기 위해 상호정보량에서 엔트로피로 초점을 이동시키기 위해.
• 엔트로피를 중복, 고유, 상호작용 성분으로 분해함으로써 정보 구조에 대한 더 명확한 해석을 제공하는 새로운 시각을 제공하기 위해.
• 기존 방법으로는 측정이 어려웠던 기계적 중복(기능적)과 원천 중복(입력 의존성)을 구분하기 위해.
• 상호정보량이 중복과 상호작용 성분을 모두 포함하고 있음을 보여주며, 일관된 PID 분해가 어려웠던 이유를 설명하기 위해.

제안 방법

• PID 격자 구조를 다변량 엔트로피로 확장하여 부분 엔트로피 분해(PED)를 제안하고, 엔트로피의 중복 측정으로 국소 공통 놀라움을 사용한다.
• 국소 공통 놀라움을 사용하여 변수 간의 공통 불확실성으로서 중복 엔트로피를 정의하며, 이는 상호정보량의 정의와 밀접하게 관련되어 있다.
• PED 프레임워크에서 두 가지 다른 정보 분해를 유도한다: 순수 상호정보량 기반의 분해와 단일의미적 접근을 사용한 분해.
• 엔트로피의 중복 측정을 사용하여 상호작용 엔트로피를 오정보(misinformation)로 정량화하며, 음수 국소 정보 값이 이 상호작용 성분과 직접적으로 대응됨을 연결한다.
• 기존 연구에서 제시된 예시 시스템에 PED를 적용하여, 고전적 측정법이 실패하는 상황에서 이원적과 삼원적 생성 구조를 구분할 수 있음을 보여준다.
• PED 기반 분해가 기존 PID 접근법과 일관성을 유지함을 확인하며, 특히 $I_{\text{ccs}}$ 측정법을 사용할 경우 그러한 일관성이 유지되지만, $P_{\text{ind}}$에 의해 유도되는 비대칭성으로 인해 차이가 발생함을 밝힌다.

실험 결과

연구 질문

• RQ1 PID 체계를 상호정보량에서 다변량 엔트로피로 의미 있게 확장할 수 있는가? 이는 다변량 시스템의 더 깊은 구조적 통찰을 제공할 수 있는가?
• RQ2 일관된 PID 분해를 얻는 것이 어려운 이유는 무엇이며, 엔트로피 관점이 그 근본 원인을 명확히 하는가?
• RQ3 다변량 시스템에서 기계적 중복(기능적)과 원천 중복(입력 의존성)을 어떻게 구분할 수 있는가?
• RQ4 상호작용 엔트로피는 상호정보량에서 어떤 역할을 하는가? 그리고 오정보 또는 음수 국소 정보 값과의 관계는 무엇인가?
• RQ5 PED 프레임워크는 중복 측정의 모호함을 해결하고 정보 분해를 위한 더 일관된 기반을 제공할 수 있는가?

주요 결과

• PED는 상호정보량이 본질적으로 중복과 상호작용 성분을 모두 포함하고 있음을 드러내며, 일관된 PID 분해가 어려웠던 이유를 설명한다.
• 상호작용 엔트로피는 오정보로 정량화되며, 음수 국소 정보 값이 이 상호작용 성분과 직접적으로 대응된다.
• PED 프레임워크는 기계적 중복(기능적으로 관련된)과 원천 중복(입력 의존성에서 기인함)을 별도로 정량화할 수 있게 하여 이전에는 달성할 수 없었던 구분을 가능하게 한다.
• 이중 예측자 케이스에서는 중복 엔트로피가 항상 상호작용 엔트로피보다 크거나 같으며, 둘 다 0일 때에만 등호가 성립한다.
• PED 기반 분해는 $I_{\text{ccs}}$ 측정법을 사용할 경우 기존 PID 접근법과 일관성을 유지하지만, 상호정보량 측정법에서 $P_{\text{ind}}$에 의해 유도되는 비대칭성으로 인해 차이가 발생한다.
• 엔트로피를 제1차 양으로 삼는 것으로 정보 분해의 더 명확한 기반을 제공함으로써, 중복과 상호작용에 대한 개념적 모호성을 해결한다.