[논문 리뷰] Multivariate information measures: an experimentalist's perspective

Nicholas M. Timme, Wesley T. Alford외 2명|arXiv (Cornell University)|2011. 11. 28.

Neural dynamics and brain function인용 수 13

한 줄 요약

이 논문은 신경과학 분야에서 특히 복잡한 시스템을 분석하기 위해 상호정보량, 총상관정보량, 이중 총상관정보량과 같은 다변량 정보 측정법을 종합적으로 비교한다. 모델 시스템과 실제 신경 세포의 스파iking 데이터를 사용하여 이 측정법들을 평가하며, 서로 다른 측정법이 상호보완적이고 상이한 측면의 상호작용과 중복성을 드러내는 것으로 입증하고, 연구자들이 재현 가능한 분석을 위해 사용할 수 있도록 오픈소스 MATLAB 코드를 제공한다.

ABSTRACT

Information theory is widely accepted as a powerful tool for analyzing complex systems and it has been applied in many disciplines. Recently, some central components of information theory - multivariate information measures - have found expanded use in the study of several phenomena. These information measures differ in subtle yet significant ways. Here, we will review the information theory behind each measure, as well as examine the differences between these measures by applying them to several simple model systems. In addition to these systems, we will illustrate the usefulness of the information measures by analyzing neural spiking data from a dissociated culture through early stages of its development. We hope that this work will aid other researchers as they seek the best multivariate information measure for their specific research goals and system. Finally, we have made software available online which allows the user to calculate all of the information measures discussed within this paper.

연구 동기 및 목표

• 복잡한 시스템 연구에서 널리 사용되는 다변량 정보 측정법 간의 개념적 및 수학적 차이를 명확히 하기 위해.
• 정보이론적 성질가 알려진 단순한 모델 시스템을 사용하여 이러한 측정법의 성능 및 해석 가능성 평가하기 위해.
• 발달 중인 분離된 신경 세포 배양에서의 실제 신경 스파이킹 데이터에 이러한 측정법을 적용하여 보여주기 위해.
• 연구자의 구체적인 연구 목표에 따라 가장 적절한 다변량 정보 측정법을 선택할 수 있도록 실용적인 가이드 제공하기 위해.
• 모든 논의된 정보 측정법을 구현한 오픈소스 MATLAB 소프트웨어를 공개하여 재현 가능한 연구를 지원하기 위해.

제안 방법

• 상호정보량, 총상관정보량(TC), 이중 총상관정보량(DTC), 부분 정보 분해(PID)를 포함한 주요 다변량 정보 측정법의 표기법과 정의를 통합 및 정리하기 위해.
• 예를 들어 XOR 게이트, 중복성 및 상호보완성 네트워크 등 해석이 가능한 모델 시스템을 사용하여 각 측정법이 통제된 조건에서 어떻게 행동하는지 비교하기 위해.
• 모델 파rameter로부터 유도된 연합확률분포를 사용하여 표준 정보이론 방정식을 통해 엔트로피, 상호정보량, 고차 정보 측정법 계산하기 위해.
• 발달 단계에 따라 변화하는 분리된 피라미드 신경세포 배양에서의 실험적 스파이킹 데이터를 분석하여 정보 전달 및 상호작용 구조의 변화 추적하기 위해.
• 맞춤형 MATLAB 코드를 사용하여 측정법을 구현하고 검증하며, 공개를 통해 재현 가능성과 접근성 확보하기 위해.
• 최소 상호정보량 기반의 중복성 측정법을 사용하여 목표 변수에 대한 정보에 기여하는 중복성 및 상호보완성 기여를 분리하기 위해 부분 정보 분해(PID)를 활용하기 위해.

실험 결과

연구 질문

• RQ1 알려진 상호보완성 또는 중복성의 구조를 가진 시스템에 대해 다양한 다변량 정보 측정법(예: 상호정보량, TC, DTC, PID)이 어떻게 작용하는가?
• RQ2 이러한 측정법들이 모델 시스템에서 다변량 의존성의 정도를 얼마나 일치하거나 다름을 보이는가?
• RQ3 신경망의 발달 과정에서 상호보완성과 중복성은 정보이론적 프레임워크에 따라 어떻게 변화하는가?
• RQ4 상호정보량과 달리 부분 정보 분해(PID)는 신경 데이터에서 중복성과 상호보완성을 효과적으로 분리할 수 있는가?
• RQ5 발달 중인 신경 회로의 功能적 조직을 이해하는 데 가장 유용한 다변량 정보 측정법은 무엇인가?

주요 결과

• XOR 게이트 모델에서 상호정보량과 총상관정보량은 동일한 결과를 산출하였으며, 이는 순수하게 상호보완적인 시스템임을 정확히 식별하였다.
• 부분 정보 분해(PID)는 발달 중인 신경 배양에서 동시에 중복성과 상호보완성이 존재함을 드러내었으며, 이는 상호정보량이 포착하지 못한 미세한 차이를 반영하였다.
• 독립적이지만 동일하지 않은 기여가 있는 모델에서는 상호정보량이 순수한 정보량을 0으로 보여주었으나, PID는 비영일 중복성과 상호보완성을 정확히 식별하였다.
• 이중 총상관정보량(DTC) 측정법은 의존성의 구조에 민감하며 변수 간 공유 정보를 잘 포착하는 데 뛰어난 성능을 보였다.
• 이 연구에서는 어떤 측정법도 보편적으로 최적은 아니며, 연구 질문에 따라 각 측정법이 다변량 의존성의 서로 다른 측면을 드러냄을 발견하였다.
• 오픈소스 MATLAB 구현을 통해 연구자들은 논의된 모든 측정법을 계산할 수 있으며, 이는 다변량 시스템에 대한 일관되고 재현 가능한 분석을 촉진한다.