[논문 리뷰] On shared and multiple information

Cesare Magri|arXiv (Cornell University)|2021. 01. 01.

Computability, Logic, AI Algorithms참고 문헌 16인용 수 2

한 줄 요약

이 논문은 정보이론에서 오랫동안 해결되지 않은 문제들—비음수 부분정보분해(PID), 공유 정보 측정, 다중 정보 확장—을 해결하기 위해 샤논 상호정보량의 기초의존적 분해를 제안한다. 목표 변수의 결정적 함수(기본 정보)에 대해 상호정보량을 전개함으로써, 저자들은 비음수 PI-함수와 윌리엄스 및 뷰의 PID 프레임워크와 후 후와 양의 정보도 프레임워크를 조율하는 새로운 공유 정보 측정법을 도출한다. 이는 양 프레임워크와 모두 호환되는 일관되고 비음수인 다중 정보 측정법을 가능하게 한다.

ABSTRACT

We address three outstanding problems in information theory. Problem one is the definition of a non-negative decomposition of the information conveyed by two or more sources about a target variable into the specific contribution of each possible combination of the sources. Problem two is the definition of a measure of information shared by several sources about the target variable. Problem three is the definition of a measure of multiple mutual information, that is, the extension of mutual information to more than two variables.

연구 동기 및 목표

• 두 개 이상의 소스에 대해 비음수 부분정보분해(PID)가 부족한 문제를 해결한다.
• 다양한 소스 간에 일관되고 비음수인 공유 정보 측정법을 정의한다.
• 윌리엄스와 뷰의 부분정보도(PID) 프레임워크를 후 후와 양의 정보도(ID) 프레임워크와 조율한다.
• 집합론적 프레임워크와 모두 호환되는 방식으로 다중 변수에 대한 상호정보량을 확장한다.
• 핵심 공리적 성질을 만족하는 기초 정보에 독립적인 공유 정보 측정법을 제공한다.

제안 방법

• 목표 변수 Y에 대한 결정적 함수 f: Y → Y₁, Y₂, ...를 사용하여 상호정보량의 기초 정보 기반 전개를 도입한다. 이 함수들은 목표 변수를 특징들로 분할한다.
• I(X;Y)의 분해를 I(X;Y₁)와 조건부 상호정보량 I(X;Y|y₁)를 포함하는 계층적 전개로 유도한다.
• 모든 가능한 기초 정보에 대해 조건부 상호정보량의 합의 최소값으로 기초 정보에 의존하는 공유 정보 측정법을 정의한다.
• 모든 가능한 기초 정보에 대해 기초 정보에 의존하는 측정법을 최소화함으로써 기초 정보에 독립적인 공유 정보 측정법을 제안한다.
• 최소화된 공유 정보를 바탕으로 각 소스의 부분집합을 부분정보도의 영역에 할당함으로써 비음수 PI-함수를 구성한다.
• 새로운 다중 정보 측정법이 정보도의 교차부와 일치함을 보여줌으로써 윌리엄스와 뷰의 PID와 후 후와 양의 ID 사이의 연결 고리를 확립한다.

실험 결과

연구 질문

• RQ1 기본 정보의 기반을 재정의함으로써 두 개 이상의 소스에 대해 비음수 부분정보분해를 달성할 수 있는가?
• RQ2 윌리엄스와 뷰의 PID 프레임워크의 공리와 호환되면서도 비음수인 공유 정보 측정법을 정의할 수 있는가?
• RQ3 부분정보도(PID)를 후 후와 양의 정보도(ID)와 일관되게 연결할 수 있는가?
• RQ4 핵심 성질을 만족하는 기초 정보에 독립적인 공유 정보 측정법이 존재하는가?
• RQ5 PID와 ID 프레임워크 양쪽과 모두 호환되며 비음수인 새로운 다중 정보 측정법을 정의할 수 있는가?

주요 결과

• 제안된 기초 정보에 의존하는 공유 정보 측정법은 비음수 PI-함수를 보장하여 전통적인 PID 접근법에서의 음수 값 문제를 해결한다.
• 기초 정보에 독립적인 공유 정보 측정법은 강조된 10개의 공리적 성질을 모두 만족하며, 이를 만족하는 첫 번째 측정법이다.
• 새로운 다중 정보 측정법은 마이클의 상호작용 정보와 달리 항상 비음수임이 보장되며, 다중 정보를 정보도에서의 교차로 보는 집합론적 직관과 일치한다.
• 이 방법은 윌리엄스와 뷰의 PID 프레임워크와 후 후와 양의 ID 프레임워크를 성공적으로 조율하며, 기초 정보 기반 분해를 통해 두 프레임워크가 일관되게 연결될 수 있음을 보여준다.
• 저자들은 공유 정보 측정법이 왼쪽 단조성(Left Monotonicity)을 만족할 수 없으며, AND 및 UNQ와 같은 표준 예시와도 호환될 수 없음을 증명함으로써, 분야 내 기존 가정에 도전한다.
• 이 프레임워크는 특정 소스 집합이 전달하는 정보는 기초 정보에 의존하지만, 공유 정보 자체는 기초 정보에 독립적임을 보여주며, 이러한 개념들을 원칙적으로 분리하는 데 기여한다.