[논문 리뷰] On active information storage in input-driven systems

Oliver Obst, Joschka Boedecker외 2명|arXiv (Cornell University)|2013. 03. 22.

Gaussian Processes and Bayesian Inference참고 문헌 4인용 수 7

한 줄 요약

이 논문은 신경망과皮질 회로와 같은 입력 구동 시스템을 위한 활성 정보 저장(Active Information Storage, AIS)의 새로운 확장인 입력 보정 활성 정보 저장(input-corrected active information storage, icAIS)을 제안한다. 과거 상태와 현재 입력에 조건화된 저장 측정을 통해 icAIS는 내재된 기억과 입력에 의한 영향을 분리하여, 비자율 시스템에서 진정한 정보 저장의 보다 정확한 정량화를 가능하게 한다. 분석적 및 시뮬레이션 예제를 통한 검증을 통해 일관되고 직관적인 결과를 도출한다.

ABSTRACT

Information theory and the framework of information dynamics have been used to provide tools to characterise complex systems. In particular, we are interested in quantifying information storage, information modification and information transfer as characteristic elements of computation. Although these quantities are defined for autonomous dynamical systems, information dynamics can also help to get a "wholistic" understanding of input-driven systems such as neural networks. In this case, we do not distinguish between the system itself, and the effects the input has to the system. This may be desired in some cases, but it will change the questions we are able to answer, and is consequently an important consideration, for example, for biological systems which perform non-trivial computations and also retain a short-term memory of past inputs. Many other real world systems like cortical networks are also heavily input-driven, and application of tools designed for autonomous dynamic systems may not necessarily lead to intuitively interpretable results. The aim of our work is to extend the measurements used in the information dynamics framework for input-driven systems. Using the proposed input-corrected information storage we hope to better quantify system behaviour, which will be important for heavily input-driven systems like artificial neural networks to abstract from specific benchmarks, or for brain networks, where intervention is difficult, individual components cannot be tested in isolation or with arbitrary input data.

연구 동기 및 목표

• 표준 활성 정보 저장(Active Information Storage, AIS)이 입력 구동 시스템에서 입력 효과와 내재된 시스템 기억이 혼동되는 한계를 해결하기 위해.
• 내부 동역학에 기인한 정보 저장과 외부 입력에 기인한 정보 저장을 분리하는 공식적 프레임워크를 개발하기 위해.
• 순환 신경망과 피각망과 같은 비자율 시스템의 계산적 성질을 더 해석 가능하고 정확하게 기술하기 위해.
• 실험적 간섭이 어려우거나 불가능한 시스템, 예를 들어 생물학적 뇌망과 같은 시스템을 연구하는 데 도구를 제공하기 위해.

제안 방법

• 표준 활성 정보 저장의 수정으로서 입력 보정 활성 정보 저장(input-corrected active information storage, icAIS)을 제안하며, 과거 상태와 현재 입력에 조건화한다.
• 조건부 확률을 사용하여 icAIS를 정의한다: icAIS = log[P(x_{n+1} | x_n^{(k)}, u_{n+1}) / P(x_{n+1} | u_{n+1})], 입력의 영향을 초월한 기억을 캡처한다.
• 부분 정보 분해(Partial Information Decomposition, PID) 프레임워크를 적용하여 정보를 중복, 고유, 상호작용 성분으로 분해한다.
• icAIS를 상호정보량과 연관지어, icAIS = AIS + I로 표현하며, 여기서 I는 입력, 과거 상태, 향후 상태 사이의 상호정보량이다.
• 이론적 예제를 사용하여 방법을 검증하며, 이중 XOR 유닛과 단순 기억 유닛을 포함한 분석적 사례에서 일관되고 직관적인 결과를 도출한다.
• 입력과 이력이 함께 다음 상태를 결정할 때, 입력만으로는 예측 능력이 없음에도 불구하고 icAIS가 올바르게 저장된 정보를 식별함을 보여준다.

실험 결과

연구 질문

• RQ1 입력과 시스템 동역학이 혼합되는 입력 구동 시스템에 대해 활성 정보 저장이 어떻게 의미적으로 확장될 수 있는가?
• RQ2 비자율 시스템에서 입력이 정보 저장 측정에 어느 정도 영향을 미치는가?
• RQ3 icAIS는 내부 상태 기억에 기인한 정보 저장과 입력에 의한 전이에 기인한 정보 저장을 구분할 수 있는가?
• RQ4 icAIS는 상호정보량과 부분 정보 분해와 같은 기존의 정보 이론적 측정과 어떻게 관련이 있는가?
• RQ5 icAIS는 분석 가능하고 단순한 시스템에서 직관적이고 일관된 결과를 도출하는가?

주요 결과

• icAIS는 입력에 의한 영향과 내재된 기억을 성공적으로 분리하여, 테스트 케이스에서 직관적인 기대와 일치하는 값을 도출한다.
• 기억 유닛의 경우, icAIS는 입력과 무관하게 정확히 1비트의 정보 저장을 측정하여 진정된 기억 용량을 캡처할 수 있음을 확인한다.
• XOR 유닛의 경우, 과거 상태와 입력이 모두 알려져 있을 때 icAIS는 1비트의 저장을 도출하지만, 입력만으로는 예측 능력이 없으며, 이는 방법의 상호작용 감지 민감도를 검증한다.
• 관계식 icAIS = AIS + I는 해석적으로 유도되었으며, 이는 icAIS가 표준 AIS를 초월해 입력과 이력 간의 상호작용을 캡처함을 보여준다.
• 이 방법은 정보 저장에 기여하는 중복성과 상호작용성 기여를 효과적으로 구분하여, 복잡한 시스템에서 더 명확한 해석을 가능하게 한다.
• 기존 AIS가 입력 의존성으로 인해 실패하는 시스템, 특히 생물학적 및 인공 신경망에서 메모리 정량화를 체계적으로 가능하게 하는 프레임워크를 제공한다.