[논문 리뷰] Nonnegative Decomposition of Multivariate Information

Paul L. Williams, Randall D. Beer|arXiv (Cornell University)|2010. 04. 14.

Neural Networks and Applications참고 문헌 8인용 수 278

한 줄 요약

이 논문은 다변량 정보 이론에서 상호정보량의 부정성 문제를 해결하기 위해, 목표 변수의 각 결과에 대해 각 소스가 제공하는 정보의 최소값을 평균화하여 재정의한 비음수 부분정보분해(PID)를 제안한다. 이는 상호정보량을 비음수 부분정보 원소로 분해하는 데에 기여하며, 재현성과 상호작용의 역할을 명확히 하고, 상호정보량의 부정성은 이러한 구성요소들이 혼합되어 발생하는 혼동임을 설명한다.

ABSTRACT

Of the various attempts to generalize information theory to multiple variables, the most widely utilized, interaction information, suffers from the problem that it is sometimes negative. Here we reconsider from first principles the general structure of the information that a set of sources provides about a given variable. We begin with a new definition of redundancy as the minimum information that any source provides about each possible outcome of the variable, averaged over all possible outcomes. We then show how this measure of redundancy induces a lattice over sets of sources that clarifies the general structure of multivariate information. Finally, we use this redundancy lattice to propose a definition of partial information atoms that exhaustively decompose the Shannon information in a multivariate system in terms of the redundancy between synergies of subsets of the sources. Unlike interaction information, the atoms of our partial information decomposition are never negative and always support a clear interpretation as informational quantities. Our analysis also demonstrates how the negativity of interaction information can be explained by its confounding of redundancy and synergy.

연구 동기 및 목표

• 다변량 정보이론에서 오랫동안 지속된 상호정보량의 부정성 문제를 해결하기 위해.
• 해석 가능한 구성요소로 분해된 명확하고 비음수인 다변량 정보 분해를 제공하기 위해.
• 래티스 기반 접근법을 사용하여 다변량 시스템에서 재현성과 상호작용의 구조를 체계화하기 위해.
• 상호정보량이 때로 부정적인 이유를 밝혀내어, 재현성과 상호작용이 혼합되어 발생하는 혼동임을 설명하기 위해.
• 신경과학, 유전학, 기계학습 등 다양한 분야에 적용 가능한 일반적인 다변량 의존성 분석 프레임워크를 제공하기 위해.

제안 방법

• 재현성을 목표 변수의 각 결과에 대해 각 소스가 제공하는 상호정보량의 최소값으로 정의하고, 결과에 대해 평균화한다.
• 소스 집합에 대해 재현성 래티스를 구성하여 재현 정보의 계층적 구조를 표현한다.
• 재현성 래티스를 기반으로 각 소스 부분집합의 고유 기여도인 부분정보 원소를 유도한다.
• 래티스 구조를 사용하여 총 상호정보량을 비음수이고 해석 가능한 구성요소로 분해한다.
• 비음수성과 해석 가능성 확보를 위해 최소재현성 측정법을 적용한다.
• 상호정보량의 부정성은 재현성과 상호작용 기여의 혼합으로 인해 발생함을 입증한다.

실험 결과

연구 질문

• RQ1 왜 상호정보량은 때로 부정적인가, 이는 그 해석에 어떤 영향을 미치는가?
• RQ2 다변량 정보는 어떻게 재현성과 상호작용의 비음수이고 해석 가능한 구성요소로 분해될 수 있는가?
• RQ3 다변량 시스템에서 재현성과 상호작용 기여의 구조적 관계는 무엇인가?
• RQ4 래티스 기반 프레임워크는 이변량 상호작용을 초월하여 다변량 정보의 조직을 어떻게 명확히 할 수 있는가?
• RQ5 제안된 재현성 측정법은 기존 정의에 비해 해석 가능성과 비음수성 측면에서 어떻게 향상되는가?

주요 결과

• 제안된 재현성 측정법 $ I_{\min} $ 는 항상 비음수이며 재현성의 직관적 성질을 만족한다.
• 재현성 래티스는 소스 간 정보 공유 방식을 완전하고 체계적인 방식으로 표현한다.
• 원소로 분해된 부분정보는 포함적이고 비음수이며, 각 원소는 재현성과 상호작용의 고유 조합을 나타낸다.
• 상호정보량은 부분정보 원소의 부호가 있는 합으로 표현되며, 이는 그 부정성의 원인이 재현성과 상호작용의 혼합임을 설명한다.
• 이 방법은 세 개 이상의 변수를 포함한 복잡한 시스템에서도 다변량 정보 구성요소를 명확히 해석할 수 있도록 한다.
• 래티스 구조는 기여도가 0인 항들을 효율적으로 제거할 수 있게 하여, 큰 시스템에 적용했을 때 실용적인 계산적 이점을 제공한다.