[논문 리뷰] Quantifying multivariate redundancy with maximum entropy decompositions of mutual information

Daniel Chicharro|arXiv (Cornell University)|2017. 08. 13.

Computational Drug Discovery Methods참고 문헌 65인용 수 3

한 줄 요약

이 논문은 루트가 있는 트리 구조의 제약 조건을 사용하여 상호정보를 비음수이자 공리적인 성분들로 분해함으로써, 정보 분해에서 다변량 중복을 정량화하기 위한 최대 엔트로피 기반 프레임워크를 제안한다. 이는 이변량 중복 측정법을 다변량 환경으로 일반화하여 중복 래티스와의 일관성을 보장하고, 고유, 중복 및 상호작용 정보 기여도를 정밀하게 분리할 수 있도록 한다.

ABSTRACT

Williams and Beer (2010) proposed a nonnegative mutual information decomposition, based on the construction of redundancy lattices, which allows separating the information that a set of variables contains about a target variable into nonnegative components interpretable as the unique information of some variables not provided by others as well as redundant and synergistic components. However, the definition of multivariate measures of redundancy that comply with nonnegativity and conform to certain axioms that capture conceptually desirable properties of redundancy has proven to be elusive. We here present a procedure to determine nonnegative multivariate redundancy measures, within the maximum entropy framework. In particular, we generalize existing bivariate maximum entropy measures of redundancy and unique information, defining measures of the redundant information that a group of variables has about a target, and of the unique redundant information that a group of variables has about a target that is not redundant with information from another group. The two key ingredients for this approach are: First, the identification of a type of constraints on entropy maximization that allows isolating components of redundancy and unique redundancy by mirroring them to synergy components. Second, the construction of rooted tree-based decompositions of the mutual information, which conform to the axioms of the redundancy lattice by the local implementation at each tree node of binary unfoldings of the information using hierarchically related maximum entropy constraints. Altogether, the proposed measures quantify the different multivariate redundancy contributions of a nonnegative mutual information decomposition consistent with the redundancy lattice.

연구 동기 및 목표

• 정보 분해에서 비음수이자 공리적인 다변량 중복 측정법을 정의하는 데 오랫동안 남아 있던 과제를 해결하기 위해.
• 이변량 최대 엔트로피 중복 측정법을 다변량 시스템으로 확장하면서 중복 래티스 프레임워크와의 일관성을 유지하기 위해.
• 계층적으로 구조화된 제약 조건 하에서 엔트로피 최대화를 통해 중복 및 고유 중복 성분들을 분리하는 방법을 개발하기 위해.
• 결과로 얻어진 분해가, 결정론적 의존성 존재하에서도 식별성 공리와 같은 중복의 핵심 공리를 충족하도록 보장하기 위해.
• 루트가 있는 트리 기반의 정보 성분 전개를 사용하여 다변량 시스템에서 상호정보를 분해하는 일반적이고 확장 가능한 절차를 제공하기 위해.

제안 방법

• 특정 조건부 인과성 및 공상관 정보 제약 조건에 의해 제약된 최대 엔트로피 분포를 사용하여 중복 및 고유 중복 성분을 고립한다.
• 각 노드가 계층적으로 관련된 최대 엔트로피 제약 조건을 사용하여 이진 전개를 적용하는 루트가 있는 트리 기반의 분해를 활용한다.
• 제약 조건을 다변량 환경으로 확장하여 이변량 중복 측정법을 일반화함으로써 비음수성과 공리 준수를 보장한다.
• 가족 내 적어도 하나의 분포가 부분 집합에 대해 정보를 0으로 생성하는 조건 하에서 실제 분해와 최대 엔트로피 분해 간의 동치성을 증명하기 위해 귀납법을 적용한다.
• 결정론적 타겟-소스 의존성을 처리하기 위해 확률적 및 결정론적 성분을 분리하고, 확률적 부분에 동일한 측정법을 적용한다.
• 공상관 정보 제약 조건(예: $C(X;i;j|k) = 0$)을 사용하여 중복을 정의하며, 결정론적 오버랩으로 인해 이러한 제약 조건이 이행 불가능한 경우를 대비해 조정한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 중복 래티스의 공리와 비음수성을 만족하는 방식으로 다변량 중복을 정량화할 수 있는가?
• RQ2 최대 엔트로피 방법은 다변량 시스템에서 상호정보를 비음수이자 해석 가능한 성분들로 분해하는 데 일반화될 수 있는가?
• RQ3 엔트로피 최대화에 대한 어떤 제약 조건이 중복 및 고유 중복 성분을 고립시키면서 상호작용 성분과 대응시킬 수 있는가?
• RQ4 타겟과 소스 변수 간의 결정론적 의존성이 중복 측정법에서 공상관 정보 제약 조건의 타당성에 어떤 영향을 미치는가?
• RQ5 다음과 같은 재귀적이고 트리 기반의 정보 성분 전개를 사용하여 제안된 프레임워크를 다변량 시스템으로 얼마나 넓게 확장할 수 있는가?

주요 결과

• 제안된 최대 엔트로피 프레임워크는 중복 래티스 구조를 따르는 비음수이자 공리적인 다변량 중복 측정법을 성공적으로 도출한다.
• 루트가 있는 트리 기반의 분해를 통해 제약 조건을 계층적으로 적용함으로써 이변량 중복 측정법을 다변량 환경으로 일반화한 방법이 성공적으로 적용된다.
• 가족 내 적어도 하나의 분포가 소스 부분 집합에 대해 정보를 0으로 생성하는 조건 하에서 실제 분해와 최대 엔트로피 분해 간의 동치성이 증명된다.
• 이 프레임워크는 중복 및 고유 중복 항목이 비음수이며, 소스가 타겟에 부분적 또는 완전히 포함되어 있더라도 식별성 공리와 일관되게 유지됨을 보장한다.
• 결정론적 타겟-소스 의존성이 존재하는 시스템에서는 중복의 확률적 성분에 적용할 경우 메서드가 여전히 유효하며, 결정론적 부분은 별도로 처리된다.
• 이 방법은 다변량 시스템에서 고유, 중복 및 상호작용 기여도로 상호정보를 분해하는 데 있어 확장 가능하고 일관되며 정보이론적으로 타당한 방법을 제공한다.