[논문 리뷰] Generalized Measures of Information Transfer

Paul L. Williams, Randall D. Beer|arXiv (Cornell University)|2011. 02. 08.

Neural dynamics and brain function참고 문헌 2인용 수 56

한 줄 요약

이 논문은 전이 엔트로피를 상태 독립적 및 상태 의존적 구성요소로 분해함으로써 일반화된 정보 전달 측정법을 제안하고, 다변량 시스템으로 확장하여 고유한, 중복된, 상호보완적인 정보 전달을 정량화한다. 주요 기여는 전이의 크기와 방향을 넘어서 정보 전달의 유형을 구분할 수 있는 공식적 프레임워크를 제공하는 것으로, 부분 정보 분해를 활용하며 제어 이론과 생리학적 시스템에의 적용을 포함한다.

ABSTRACT

Transfer entropy provides a general tool for analyzing the magnitudes and directions---but not the \emph{kinds}---of information transfer in a system. We extend transfer entropy in two complementary ways. First, we distinguish state-dependent from state-independent transfer, based on whether a source's influence depends on the state of the target. Second, for multiple sources, we distinguish between unique, redundant, and synergistic transfer. The new measures are demonstrated on several systems that extend examples from previous literature.

연구 동기 및 목표

• 전이 엔트로피가 정보 전달의 유형(예: 영향력이 상태 의존적인지 여부)을 구분하지 못하는 한계를 해결하기 위해.
• 다수의 원천으로부터의 기여를 고유, 중복, 상호보완적 성격으로 정량화함으로써 전이 엔트로피를 다변량 시스템으로 확장하기 위해.
• 정보 이론적 측정법과 개방 루프 및 폐루프 제어와 같은 제어 이론적 개념 간의 관계를 공식화하기 위해.
• 복잡한 시스템에서 정보 전달의 양뿐만 아니라 전달되는 정보의 유형까지 특성화할 수 있는 통합적 프레임워크를 제공하기 위해.

제안 방법

• Williams과 Beer(2010)의 부분 정보(PI) 분해를 사용하여 총 정보를 고유, 중복, 상호보완적 구성요소로 분리한다.
• 상태 독립적 전이 엔트로피(SITE)를 정의한다. 이는 목표 상태와 무관하게 전달되는 정보로, 원천에 대해서만 조건부로 유도된다.
• 상태 의존적 전이 엔트로피(SDTE)를 정의한다. 이는 목표의 현재 상태에 따라 달라지는 정보 전달을 의미하며, SITE를 제거한 잔차로부터 유도된다.
• 다중 원천이 목표에 미치는 공동 영향에 대해 PI-분해를 적용하고, 최소 및 최대 엔트로피 측정법을 사용하여 중복성과 상호보완성을 정량화한다.
• Kullback-Leibler 발산을 활용하여 SDTE가 0이 되는 조건을 특성화하며, 이는 상태 의존적 영향의 부재와 연결된다.
• 모델 시스템과 실제 생리학적 데이터(예: 심박수 및 호흡수)에 프레임워크를 적용하여, 초입된 전이 엔트로피 값으로 상태 의존적 영향을 시각화한다.

실험 결과

연구 질문

• RQ1 전이 엔트로피는 어떻게 상태 독립적 및 상태 의존적 정보 전달 구성요소로 분해될 수 있는가?
• RQ2 제안된 일반화된 측정법과 개방 루프 및 폐루프 제어와 같은 제어 이론적 개념 간의 공식적 관계는 무엇인가?
• RQ3 다수의 원천으로부터의 정보 전달은 어떻게 고유, 중복, 상호보완적 기여로 분해될 수 있는가?
• RQ4 이 프레임워크는 크기와 방향을 넘어서 정보 전달의 해석을 어떻게 향상시키는가?
• RQ5 이 프레임워크는 심박수와 호흡수 사이와 같은 실제 생리학적 시스템에서 상태 의존적 영향을 탐지하고 정량화할 수 있는가?

주요 결과

• 상태 독립적 전이 엔트로피(SITE)는 개방 루프 제어와 형식적으로 동일하며, 완벽한 SITE는 최대 개방 루프 제어 가능성을 나타낸다.
• 상태 의존적 전이 엔트로피(SDTE)는 목표의 현재 상태에 대한 원천의 영향이 독립적일 경우에만 0이 되며, 이는 마르코프 전이 모델에서 조건부 독립성에 의해 정의된다.
• 생리학적 시스템에서 심박수는 호흡수에 대해 유일하게 상태 의존적 영향을 미치며, 체적 부피가 낮거나 높을 때 전이 엔트로피가 가장 높고, 평균 근처에서는 영향이 최소가 된다.
• 프레임워크는 최소 및 최대 엔트로피 측정법을 사용한 PI-분해를 통해 다변량 정보 전달을 고유, 중복, 상호보완적 구성요소로 성공적으로 분해한다.
• 이론적 분석에 따르면, SDTE는 조건부 분포 $ p(x'|x,c) $ 가 $ x $ 나 $ c $ 둘 중 하나에 대해 독립일 경우에만 0이 되며, 이는 상태 의존적 영향의 부재를 정의한다.
• 제안된 측정법은 정보 전달의 양뿐만 아니라 그 기능적 형태까지도 구분할 수 있는 더 풍부한 특성화를 가능하게 하며, 예를 들어 전달 정보가 목표 상태에 의존하는지 여부 또는 순수 예측적임을 구분할 수 있다.