[논문 리뷰] A partial information decomposition for discrete and continuous variables

Kyle Schick-Poland, Abdullah Makkeh외 4명|arXiv (Cornell University)|2021. 06. 23.

Neural Networks and Applications참고 문헌 21인용 수 9

한 줄 요약

이 논문은 이산 및 연속 랜덤 변수의 임의의 혼합을 포함한 일반적인 혼합 이산-연속 랜덤 변수에 대해 국소적이고 전역적인 재결합 정보 측정법을 일반화하는 측도 이론적 프레임워크를 제안한다. 라돈-니코다임 미분을 통해 공유 배제 방법을 연속 시스템으로 확장함으로써, 가역 변환에 대한 불변성, 확률 밀도 함수에 대한 미분 가능성, 핵심 PID 공리계를 만족시키는 것을 보장하며, 복잡한 실제 데이터 환경에서 엄밀한 PID 분석을 가능하게 한다.

ABSTRACT

Conceptually, partial information decomposition (PID) is concerned with separating the information contributions several sources hold about a certain target by decomposing the corresponding joint mutual information into contributions such as synergistic, redundant, or unique information. Despite PID conceptually being defined for any type of random variables, so far, PID could only be quantified for the joint mutual information of discrete systems. Recently, a quantification for PID in continuous settings for two or three source variables was introduced. Nonetheless, no ansatz has managed to both quantify PID for more than three variables and cover general measure-theoretic random variables, such as mixed discrete-continuous, or continuous random variables yet. In this work we will propose an information quantity, defining the terms of a PID, which is well-defined for any number or type of source or target random variable. This proposed quantity is tightly related to a recently developed local shared information quantity for discrete random variables based on the idea of shared exclusions. Further, we prove that this newly proposed information-measure fulfills various desirable properties, such as satisfying a set of local PID axioms, invariance under invertible transformations, differentiability with respect to the underlying probability density, and admitting a target chain rule.

연구 동기 및 목표

• 이산 시스템을 초월하여 일반 측도 이론적 랜덤 변수(연속 및 혼합 이산-연속 변수 포함)로 부분 정보 분해(PID)를 확장하는 것.
• 측도 이론적 확률 공간에서 잘 정의된 국소적 및 전역적 재결합 정보 측정법을 개발하는 것.
• 제안된 PID 측정법이 핵심 공리적 성질(가역 변환에 대한 불변성 및 기저 확률 밀도 함수에 대한 미분 가능성)을 만족시키도록 보장하는 것.
• 디랙 델타 측도의 극한에서 이산 PID 정의를 복원함으로써 다양한 변수 유형 간의 일관성을 확보하는 것.
• 신경과학 및 통계 모델링 분야에서의 실제 데이터 분석 적용을 가능하게 하기 위해, 수학적으로 엄밀하고 실용적인 프레임워크를 제공함으로써 PID의 적용을 가능하게 하는 것.

제안 방법

• 논문은 라돈-니코다임 미분을 통해 기준 측도에 대한 결합 분포의 미분을 정의한 국소 재결합 정보 측정법 $ i^{ ext{sx}}_{ ext{cap}} $ 를 도입한다.
• 전역 PID 측정법 $ I^{ ext{sx}}_{ ext{cap}} $ 는 표본 공간 위에서 국소 측정법을 통합함으로써 고전적 정보이론적 평균화와 일관성을 확보한다.
• 프레임워크는 가역 위상 동형사상에 대해 불변임이 증명되었으며, 좌표 변환 간에도 PID 구조를 유지한다.
• 측정법이 기저 확률 밀도 함수에 대해 미분 가능함이 입증되었으며, 이는 통계 모델에서 기울기 기반 최적화를 가능하게 한다.
• 목표 체인 룰이 유도되었으며, 이는 재결합 정보가 복합 목표 변수에 대해 가산적으로 분해됨을 보여주며, 정보이론 원칙과 일관된다.
• 절대 연속성과 측도 이론적 기반을 활용하여, 막케 등(2023)의 이산 PID 프레임워크를 연속 및 혼합 시스템으로 일반화한다.

실험 결과

연구 질문

• RQ1 연속 및 혼합 이산-연속 랜덤 변수에 대해 일관적이고 미분 가능한 PID 프레임워크를 구성할 수 있는가?
• RQ2 제안된 측정법이 국소 PID 공리계를 만족하고 가역 변환에 대해 불변성을 보장하는가?
• RQ3 측도 이론을 활용해 공유 배제 기반의 이산 PID 정의를 연속 시스템으로 어떻게 일반화할 수 있는가?
• RQ4 제안된 재결합 정보 측정법이 기저 확률 밀도 함수의 변화에 대해 미분 가능한가?
• RQ5 디랙 델타 측도의 극한에서 이 프레임워크는 이산 PID 사례를 복원할 수 있는가?

주요 결과

• 제안된 국소 재결합 정보 측정법 $ i^{ ext{sx}}_{ ext{cap}} $ 는 연속 및 혼합 변수 유형을 포함한 일반 측도 이론적 확률 공간에서 잘 정의되어 있다.
• 측정법은 가역 변환에 대해 불변이며, 좌표계가 변할 수 있는 실제 데이터 응용에서의 강건성을 보장한다.
• 측정법은 기저 확률 밀도 함수에 대해 미분 가능하며, 통계 학습 및 다양체 기반 추론에서의 활용을 가능하게 한다.
• 전역 PID 측정법 $ I^{ ext{sx}}_{ ext{cap}} $ 는 목표 체인 룰을 만족하여 복합 목표 변수에 대한 재결합 정보의 분해를 가능하게 한다.
• 디랙 측도의 극한에서 연속 프레임워크는 막케 등(2023)의 이산 PID 정의를 복원하며, 영역 간의 일관성을 보장한다.
• 비음수 분해에 있어 연속 시스템에서의 근본적 과제는 음수의 미분 엔트로피로 인해 발생하며, 이에 대한 잠재적 해결책으로 기준 측도 항 $ F $ 를 도입할 수 있으나, 이는 결정되지 않은 매개변수 선택 문제를 야기한다.