[논문 리뷰] Hidden information and regularities of information dynamics III

Vladimir S. Lerner|arXiv (Cornell University)|2012. 08. 15.

Opinion Dynamics and Social Influence인용 수 6

한 줄 요약

이 논문은 확률적 과정에서 숨겨진 정보 추출을 모델링하기 위해 엔트로피 기능(ef)과 정보 경로 기능(ipf)을 통합한 최소최대 변분원리(vp)를 제안한다. 펄스 제어를 적용하여 정보를 차단함으로써 다차원 랜덤 필드 내 잠재적 상관관계를 드러내는 프레임워크를 통해, 진화적 제약 조건 하에서 협동 정보 기하학과 구조 최적화를 통한 관찰자 지능의 변화를 모델링하는 계층적 정보 네트워크(in)를 구축할 수 있다.

ABSTRACT

This presentation's Part 3 studies the evolutionary information processes and regularities of evolution dynamics, evaluated by an entropy functional (EF) of a random field (modeled by a diffusion information process) and an informational path functional (IPF) on trajectories of the related dynamic process (Lerner 2012). The integral information measure on the process' trajectories accumulates and encodes inner connections and dependencies between the information states, and contains more information than a sum of Shannon's entropies, which measures and encodes each process's states separately. Cutting off the process' measured information under action of impulse controls (Lerner 2012a), extracts and reveals hidden information, covering the states' correlations in a multi-dimensional random process, and implements the EF-IPF minimax variation principle (VP). The approach models an information observer (Lerner 2012b)-as an extractor of such information, which is able to convert the collected information of the random process in the information dynamic process and organize it in the hierarchical information network (IN), Part2 (Lerner, 2012c). The IN's highest level of the structural hierarchy, measured by a maximal quantity and quality of the accumulated cooperative information, evaluates the observer's intelligence level, associated with its ability to recognize and build such structure of a meaningful hidden information. The considered evolution of optimal extraction, assembling, cooperation, and organization of this information in the IN, satisfying the VP, creates the phenomena of an evolving observer's intelligence. The requirements of preserving the evolutionary hierarchy impose the restrictions that limit the observer's intelligence level in the IN. The cooperative information geometry, evolving under observations, limits the size and volumes of a particular observer.

연구 동기 및 목표

• 다차원 랜덤 과정으로부터의 숨겨진 정보 추출을 엔트로피 및 경로 기능으로 모델링하기.
• 정보 관찰자를 동적인 에이전트로 형식화하여 수집된 데이터를 계층적 정보 네트워크(in)로 정리하기.
• 진화적 제약 조건 하에서 최적의 정보 추출 및 구조적 조직화를 지배하는 최소최대 변분원리(vp) 수립하기.
• 계층적 정보 네트워크(in)의 최상위 수준에서의 최대 협동 정보를 통해 관찰자 지능을 정량화하기.
• 협동 정보 역학에 의해 부과되는 기하학적 및 정보적 제약이 관찰자 지능에 미치는 한계 탐색하기.

제안 방법

• 정보 역학을 표현하기 위해 확산 기반의 랜덤 필드 모델을 활용한다.
• 엔트로피 기능(ef)은 과정 전반의 개별 정보 상태의 불확실성을 측정한다.
• 정보 경로 기능(ipf)은 궤적을 따라 연관성과 상관관계를 인코딩하여 샤논 엔트로피만으로는 캡처할 수 없는 더 많은 정보를 포괄한다.
• 펄스 제어를 적용하여 과정 궤적을 잘라내어 잠재적 상관관계를 드러내고 잠재 정보를 추출한다.
• 계층적 정보 네트워크(in)에서의 정보 축적과 구조적 조직화 간의 균형을 최적화하기 위해 최소최대 변분원리(vp)를 유도한다.
• 추출된 정보를 반복적으로 정렬하여 계층적 정보 네트워크(in)를 구성하며, 지능은 최상위 수준에서의 최대 협동 정보로 측정된다.

실험 결과

연구 질문

• RQ1 다차원 랜덤 과정 내에서 개별 상태 엔트로피를 초월해 은폐된 상관관계를 어떻게 추출할 수 있는가?
• RQ2 진화하는 확률적 시스템에서 최적의 정보 추출 및 조직화를 지배하는 수학적 원리는 무엇인가?
• RQ3 계층적 네트워크 구조 내에서 협동 정보 역학의 결과로 관찰자 지능은 어떻게 기인하는가?
• RQ4 정보 역학 프레임워크 내에서 관찰자의 크기와 지능을 제한하는 요건은 무엇인가?
• RQ5 최소최대 변분원리(vp)는 어떻게 엔트로피와 경로 기능을 통합하여 정보 진화를 모델링하는가?

주요 결과

• 정보 경로 기능(ipf)은 개별 샤논 엔트로피의 합을 초월해 상태 간 상관관계를 포괄한다.
• 펄스 제어를 통해 과정 궤적을 잘라내어 효과적으로 숨겨진 정보를 추출하고 잠재적 상관관계를 드러낸다.
• 최소최대 변분원리(vp)는 계층적 정보 네트워크(in)에서의 정보 추출 및 구조적 조직화 최적화를 위한 통합 프레임워크를 제공한다.
• 관찰자 지능은 계층적 정보 네트워크(in)의 최상위 수준에서의 최대 협동 정보로 측정되며, 의미 있는 구조를 인식하고 정리하는 능력을 반영한다.
• 협동 정보 기하학은 관찰자 크기와 지능에 내재된 제약을 부과하여 진화적 계층을 유지한다.
• 이 프레임워크는 진화적 제약 조건 하에서 최적의 협동과 조직화가 이루어지는 정보의 동적 현상으로서 지능의 기원을 모델링한다.