[논문 리뷰] Synergy, Redundancy and Common Information

Pradeep Banerjee, Virgil Griffith|arXiv (Cornell University)|2015. 09. 12.

Statistical Mechanics and Entropy참고 문헌 67인용 수 7

한 줄 요약

이 논문은 두 개의 예측 변수와 목표 변수 간의 상호정보량을 재경청, 고유, 상호보완 성분으로 분해하는 것을 조사한다. 이는 불가능성 결과를 증명한다: Gács와 Körner 또는 Wyner가 정의한 공통 정보 기반의 재경청 측정법은 예측 변수가 독립일 경우 비음수 부분 정보 분해를 유도할 수 없으며, 이는 그러한 재경청 측정법이 단일 변수에 대한 최적화를 통해 유도될 수 없음을 의미한다.

ABSTRACT

We consider the problem of decomposing the total mutual information conveyed by a pair of predictor random variables about a target random variable into redundant, unique and synergistic contributions. We focus on the relationship between "redundant information" and the more familiar information-theoretic notions of "common information". Our main contribution is an impossibility result. We show that for independent predictor random variables, any common information based measure of redundancy cannot induce a nonnegative decomposition of the total mutual information. Interestingly, this entails that any reasonable measure of redundant information cannot be derived by optimization over a single random variable.

연구 동기 및 목표

• 공통 정보 기반 재경청 측정법이 다변량 정보이론에서 총 상호정보량의 비음수 분해를 가능하게 할 수 있는지 조사하기.
• 재경청 정보와 정보이론에서의 고전적 공통 정보 개념 간의 관계를 명확히 하기.
• 예측 변수와 목표 변수를 포함한 비대칭 정보 분해의 맥락에서 기존의 공통 정보 프레임워크(Gács-Körner, Wyner)의 한계를 검토하기.
• 독립적인 예측 변수에 대해 공통 정보 기반 재경청 측정법이 상호정보량의 비음수 분해를 생성하지 못함을 보여주기.
• 그러한 재경청 측정법이 단일 랜덤 변수에 대한 최적화를 통해 유도될 수 없다는 것을 확립하기.

제안 방법

• 게임 이론과 팀 의사결정 이론의 개념을 확장하여, σ-대각과 표본 공간 분할을 사용해 공통 및 비공통 정보 구조를 수식적으로 정의하기.
• 공통 정보의 두 가지 새로운 측정법과 비공통 정보의 쌍대 측정법을 도입하며, 이는 충분 통계량과 최소 충분 통계량에 기반한다.
• 공통 및 비공통 정보 성분을 고립시킬 수 있는 조건을 결정하기 위해 연합 분포의 구조를 분석하기.
• Gács-Körner 공통 정보와 Wyner의 공통 정보를 기초 측정법으로 사용해 재경청을 평가하기.
• 정보이론적 부등식과 마르코프 체인 조건(예: X–Y–Q)을 활용해 재경청 및 비공통 정보 성분의 경계를 유도하기.
• 정보 분해가 최대 효율을 달성할 수 있는 조건을 특징짓기 위해 포화 가능 분포의 개념을 적용하기.

실험 결과

연구 질문

• RQ1 Gács-Körner 또는 Wyner 기반의 공통 정보에 기반한 재경청 측정법을 사용해 I(X₁X₂;Y)의 비음수 부분 정보 분해를 달성할 수 있는가?
• RQ2 다변량 정보이론에서 재경청 정보와 고전적 공통 정보 간의 관계는 무엇인가?
• RQ3 독립적인 예측 변수의 맥락에서 단일 랜덤 변수에 대한 최적화를 통해 의미 있는 재경청 측정법을 도출하는 것이 가능한가?
• RQ4 어떤 조건에서 연합 분포에서 공통 및 비공통 정보 구조를 유일하게 식별할 수 있는가?
• RQ5 왜 공통 정보 기반 재경청 측정법은 예측 변수가 독립일 경우 비음수 분해를 지원하지 못하는가?

주요 결과

• 독립적인 예측 변수 랜덤 변수에 대해, Gács-Körner 또는 Wyner 기반의 어떤 재경청 측정법도 I(X₁X₂;Y)의 비음수 분해를 유도할 수 없다.
• 이 불가능성은 독립적인 예측 변수에서 비영인 재경청은 예측 변수와 목표 변수 사이의 기계적 종속성에서만 기인할 수 있으며, 이러한 종속성은 공통 정보 측정법이 비음수 방식으로 포착할 수 없기 때문이다.
• 논문은 공통 정보 기반 재경청 측정법이 단일 랜덤 변수에 대한 최적화를 통해 유도될 수 없다는 것을 증명한다. 이는 정보 래티스의 구조적 제약 때문이기 때문이다.
• 연합 분포가 포화 가능할 경우, 비공통 정보 측정법은 한 변수에 대해 다른 변수를 조건으로 한 최소 충분 통계량을 복원하며, 제안된 프레임워크의 이론적 일관성을 검증한다.
• 최소 충분 통계량 X∧Y(즉, Gács-Körner의 공통 부분)에 기반한 공통 정보 측정법은 분포가 포화 가능할 때에만 경계에 등호를 만족하며, 이는 중요한 구조적 조건을 드러낸다.
• 목표 변수 Y가 다른 예측 변수에 대해 조건부 독립일 경우에도 이 불가능성 결과는 유지되며, 이는 공통 정보 측정법이 독립성 하에서 비음수 분해와 본질적으로 부적합함을 강화한다.