[논문 리뷰] A differentiable measure of pointwise shared information.

Abdullah Makkeh, Aaron J. Gutknecht외 1명|arXiv (Cornell University)|2020. 02. 09.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 Fano의 확률 질량 배제 원리에 기반한 점별 공유 정보의 미분 가능 측도를 제안하여 신경망에서 국소적 학습을 가능하게 한다. 이 측도는 각 실현마다 잘 정의되어 있으며, 재현성 레이스에 대해 의미 있는 Möbius 역행을 지원하고, 목표 체인 규칙을 따르며, 기존의 비미분 가능 PID 측도에 대한 미분 가능하고 운영적으로 해석 가능한 대안을 제공한다.

ABSTRACT

Partial information decomposition (PID) of the multivariate mutual information describes the distinct ways in which a set of source variables contains information about a target variable. The groundbreaking work of Williams and Beer has shown that this decomposition can not be determined from classic information theory without making additional assumptions, and several candidate measures have been proposed, often drawing on principles from related fields such as decision theory. None of these measures is differentiable with respect to the underlying probability mass function. We here present a novel measure that draws only on the principle linking the local mutual information to exclusion of probability mass. This principle is foundational to the original definition of the mutual information by Fano. We reuse this principle to define a measure of shared information based on the shared exclusion of probability mass by the realizations of source variables. Our measure is differentiable and well-defined for individual realizations of the random variables. Thus, it lends itself for example to local learning in artificial neural networks. We show that the measure can be interpreted as local mutual information with the help of an auxiliary variable. We also show that it has a meaningful Moebius inversion on a redundancy lattice and obeys a target chain rule. We give an operational interpretation of the measure based on the decisions that an agent should take if given only the shared information.

연구 동기 및 목표

• 부분 정보 분해(PID)에서의 미분 가능 측도 부족 문제를 해결하여 신경망 학습에서의 활용을 가능하게 하기 위해.
• 랜덤 변수의 개별 실현에 대해 잘 정의된 점별 공유 정보 측도를 개발하기 위해.
• 기본 확률 질량 함수에 대해 측도가 미분 가능하도록 보장하여 기울기 기반 최적화를 가능하게 하기 위해.
• Fano의 확률 질량 배제 원리에 기반한 체계적인, 운영적으로 해석 가능한 측도를 제공하기 위해.
• 재현성 레이스에서의 Möbius 역행 및 목표 체인 규칙과 같은 이론적 성질을 확립하기 위해.

제안 방법

• 공유 정보는 원천 변수 실현에 공통으로 포함되지 않는 확률 질량의 배제에서 기인하는 상호정보량이라는 Fano의 원리를 바탕으로 유도된다.
• 공유 정보는 모든 원천 변수 실현에 공통으로 포함되는 확률 질량의 최소 배제로 정의된다.
• 측도는 공동 확률 질량 함수의 국소 함수로 구성되어 있어 미분 가능성을 보장한다.
• 보조 변수를 도입하여 공유 정보를 국소 상호정보량의 형태로 해석한다.
• 측도가 재현성 레이스에서 의미 있는 Möbius 역행을 갖는 것으로 입증되어 PID 프레임워크와의 일관성을 확보한다.
• 목표 체인 규칙이 유도되어 표준 정보이론적 분해 원칙과의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 고전적 정보이론의 원리만을 사용하여 점별 공유 정보의 미분 가능 측도를 구성할 수 있는가?
• RQ2 공유 정보를 어떻게 정의할 수 있는가? 이는 확률 질량 함수에 대해 미분 가능하고 동시에 운영적으로 의미 있는가?
• RQ3 제안된 측도가 재현성 레이스에서 일관된 Möbius 역행을 지원하는가?
• RQ4 보조 변수를 통해 측도를 국소 상호정보량의 형태로 해석할 수 있는가?
• RQ5 측도가 목표 체인 규칙을 만족하여 多변량 정보 분해와의 호환성을 확보하는가?

주요 결과

• 제안된 측도는 기저 확률 질량 함수에 대해 미분 가능하여 기울기 기반 학습에 활용될 수 있다.
• 랜덤 변수의 개별 실현에 대해 잘 정의되어 있어 국소 정보 분석을 지원한다.
• 재현성 레이스에서 의미 있는 Möbius 역행을 갖는다. 이는 PID 프레임워크와의 이론적 일관성을 보장한다.
• 목표 체인 규칙을 만족하여 표준 정보 분해 원칙과의 호환성을 확인한다.
• 에이전트가 공유 정보만을 제공받았을 때 내릴 수 있는 결정을 통해 운영적으로 해석할 수 있다.
• 보조 변수를 도입하면 측도가 국소 상호정보량과 동일시되며, 이는 해석 가능성과 이론적 기반을 제공한다.