[논문 리뷰] Bits from Biology for Computational Intelligence

Michael Wibral, Joseph T. Lizier외 1명|arXiv (Cornell University)|2014. 11. 30.

Neural dynamics and brain function참고 문헌 150인용 수 53

한 줄 요약

이 논문은 정보 이론—특히 局소 정보 역학과 부분 정보 분해—을 사용하여 신경 시스템을 분석하고, 생물학적으로 영감을 받은 계산 시스템(BICS)을 위한 알고리즘 원리와 표현 방식을 도출한다. 신경 및 집단 시스템에서의 정보 저장, 전달, 변형을 정량화함으로써, 이 프레임워크는 효율적인 계산 메커니즘으로 기능하는 통합된 정보 파동과 연쇄 반응을 드러내며, 자원이 제한된 인공 시스템의 설계 원리를 제공한다.

ABSTRACT

Computational intelligence is broadly defined as biologically-inspired computing. Usually, inspiration is drawn from neural systems. This article shows how to analyze neural systems using information theory to obtain constraints that help identify the algorithms run by such systems and the information they represent. Algorithms and representations identified information-theoretically may then guide the design of biologically inspired computing systems (BICS). The material covered includes the necessary introduction to information theory and the estimation of information theoretic quantities from neural data. We then show how to analyze the information encoded in a system about its environment, and also discuss recent methodological developments on the question of how much information each agent carries about the environment either uniquely, or redundantly or synergistically together with others. Last, we introduce the framework of local information dynamics, where information processing is decomposed into component processes of information storage, transfer, and modification -- locally in space and time. We close by discussing example applications of these measures to neural data and other complex systems.

연구 동기 및 목표

• 정보 이론을 통해 신경 시스템에서 알고리즘 원리를 도출함으로써 생물학적 계산과 인공 계산을 연결한다.
• 신경 활동과 외부 자극 간의 상호정보량을 분석하여 신경 시스템이 환경에 대해 무엇을 표현하는지 규명한다.
• 국소 정보 역학을 사용하여 정보 처리를 저장, 전달, 변형의 구성 요소 과정으로 분해한다.
• 통합된 정보 파동과 같은 효율적이고 강건한 정보 처리 메커니즘을 식별함으로써 생물학적으로 영감을 받은 계산 시스템(BICS)의 설계를 이끈다.
• 생물학적 시스템에서 추상적이고 구현에 종속되지 않는 원리를 도출하여 계산 지능 분야에서 잘 정의되지 않은 문제에 대응한다.

제안 방법

• 엔트로피, 상호정보량, 전달 엔트로피, 총 상관관계와 같은 정보 이론적 측정치를 신경 및 집단 시스템 데이터에 적용한다.
• 특정 시공간 위치에서의 정보 저장, 전달, 변형을 분해하기 위해 국소 정보 역학을 활용한다.
• 다중 에이전트가 공통 환경에 대해 기여하는 고유, 중복, 상호작용 정보의 기여도를 정량화하기 위해 부분 정보 분해(PID)를 사용한다.
• 비모수적 추정기법을 사용하여 경험적 시간 시리즈 데이터로부터 정보 이론적 측정치를 추정하며, 비정상성 및 주기적 정상성도 고려한다.
• 마르의 세 가지 분석 수준(계산 수준, 알고리즘 수준, 구현 수준)을 통합하여 신경 및 인공 시스템의 정보 처리를 해석한다.
• 전달 엔트로피를 진화적 로봇공학에서 적합도 함수로 사용하여 뱀로봇 내에서 통합된 정보 흐름의 자율적 조직화를 이끈다.

실험 결과

연구 질문

• RQ1 정보 이론은 어떻게 신경 시스템이 사용하는 알고리즘과 표현 방식을 식별하는 데 사용될 수 있는가?
• RQ2 정보 저장, 전달, 변형이 신경 계산에서 수행하는 역할은 무엇이며, 이를 시공간적으로 국소적으로 어떻게 정량화할 수 있는가?
• RQ3 시스템 내 다수의 에이전트가 환경에 대해 공동으로 정보를 표현할 때, 고유, 중복, 또는 상호작용 정보의 기여도는 어떻게 되는가?
• RQ4 스웜이나 뱀로봇에서 관찰되는 통합된 정보 파동은 정보 이론적 측정치로 식별되고 설명될 수 있는가?
• RQ5 신경 정보 처리에서의 통찰은 자원이 제한된 시스템을 위한 생물학적으로 영감을 받은 계산 시스템 설계에 어떻게 기여할 수 있는가?

주요 결과

• 정보 이론은 신경 동역학의 알고리즘적 구조를 드러내기 위해 신경 계산을 정보 저장, 전달, 변형의 별개 과정으로 분해할 수 있음을 보여준다.
• 집단 운동 모델에서 정보 전달의 통합된 연쇄 반응이 정량적으로 규명되었으며, 이는 셀룰러 오토마타의 글라이더와 유사하게 장거리 정보 전파를 효율적으로 구현한다.
• 전달 엔트로피를 적합도 함수로 사용하여 진화시킨 뱀로봇에서는 통합된 정보 파동이 나타났으며, 이는 강건한 모듈 간 통신을 위한 공명 모드임을 시사한다.
• 부분 정보 분해를 통해 다수의 에이전트가 환경에 대해 중복되거나 상호작용 정보를 지닐 수 있음을 규명하여 신경 코드의 더 정교한 이해를 가능하게 한다.
• 상호정보량 분석을 통해 신경 활동이 인간이 이해할 수 있는 환경 변수와 연결되었으며, 이는 신경 시스템이 세계의 어떤 측면을 표현하는지 규명하는 데 기여한다.
• 이 프레임워크는 마르의 알고리즘 수준에서 신경 및 인공 시스템의 기능적 계산을 성공적으로 식별하였으며, 자원이 제한된 생물학적으로 영감을 받은 계산 시스템의 설계 원리를 제공한다.