[논문 리뷰] How Morphological Computation shapes Integrated Information in Embodied Agents

Carlotta Langer, Nihat Ay|arXiv (Cornell University)|2021. 08. 02.

Neural dynamics and brain function참고 문헌 34인용 수 5

한 줄 요약

이 논문은 신체기반 지능을 갖춘 에이전트에서 형태학적 계산이 그들의 제어기에서 통합 정보의 필요성을 어떻게 줄이는지 정량화하는 프레임워크를 제안한다. '계획은 추론이다'와 정보 기하학을 활용하여, 신체-환경 상호작용이 증가할수록 뇌 수준의 정보 통합이 반비례하여 감소함을 입증함으로써, 에이전트 행동과 몸에 기반한 인식의 이해에 핵심적인 대체 관계가 존재함을 밝혀낸다.

ABSTRACT

The Integrated Information Theory provides a quantitative approach to consciousness and can be applied to neural networks. An embodied agent controlled by such a network influences and is being influenced by its environment. This involves, on the one hand, morphological computation within goal directed action and, on the other hand, integrated information within the controller, the agent's brain. In this article, we combine different methods in order to examine the information flows among and within the body, the brain and the environment of an agent. This allows us to relate various information flows to each other. We test this framework in a simple experimental setup. There, we calculate the optimal policy for goal-directed behavior based on the "planning as inference" method, in which the information-geometric em-algorithm is used to optimize the likelihood of the goal. Morphological computation and integrated information are then calculated with respect to the optimal policies. Comparing the dynamics of these measures under changing morphological circumstances highlights the antagonistic relationship between these two concepts. The more morphological computation is involved, the less information integration within the brain is required. In order to determine the influence of the brain on the behavior of the agent it is necessary to additionally measure the information flow to and from the brain.

연구 동기 및 목표

• 신체기반 에이전트에서 과제 해결의 복잡성이 뇌, 신체, 환경에 어떻게 분포되어 있는지 이해하기 위해.
• 형태학적 계산(신체-환경 상호작용)과 통합 정보(뇌 수준 처리) 간의 상호작용을 정량화하기 위해.
• 형태학적 계산이 제어기에서 정보 통합의 필요성을 어떻게 줄이는지 여부와 그 방식을 조사하기 위해.
• 인공 에이전트의 센서모터 루프를 분석하기 위한 통합된 정보이론적 프레임워크를 개발하기 위해.
• 통합 정보만으로는 제어기의 기여를 평가하는 데 부족하며, 뇌로의 정보 흐름과 뇌에서의 정보 흐름을 함께 측정해야 한다는 것을 입증하기 위해.

제안 방법

• 세계(W), 제어기(C), 센서(S), 액추에이터(A)를 포함한 확률적 그래픽 모델을 사용하여 에이전트의 센서모터 루프를 모델링한다.
• 행동를 최적화하기 위해 '계획은 추론' 기법을 적용하여 행동를 은닉 변수로 간주하고, 목표 가능성 최대화를 위해 EM 알고리즘을 사용한다.
• 정보 기하학을 활용하여 확률 분포 간의 KL 발산을 계산하고, EM 알고리즘에서 e-투영과 m-투영 단계를 가능하게 한다.
• EM 알고리즘을 사용하여 정책을 반복적으로 최적화한다: e-투영은 목표 분포에 대해 D(Q∥P)를 최소화하고, m-투영은 행동 정책에 대해 D(Q∥P)를 최소화한다.
• 투영을 위한 닫힌 형태의 표현식을 유도한다: e-투영은 Q(z) = P(z)·Q(g)/P(g)를 사용하고, m-투영은 마르코프 요소에 기반한 조건부 확률 갱신을 사용한다.
• 형태학적 계산은 환경 상호작용이 인지 부담을 얼마나 줄이는지의 정도로 계산하고, 통합 정보는 제어기 내부의 정보 통합 정도로 계산한다.

실험 결과

연구 질문

• RQ1 신체의 형태학적 계산이 제어기에서 요구되는 통합 정보 수준에 어떤 영향을 미치는가?
• RQ2 제어기가 행동에 영향을 주는 데 있어, 내부 통합 외에도 뇌로의 정보 흐름과 뇌에서의 정보 흐름이 얼마나 중요한가?
• RQ3 '계획은 추론' 프레임워크와 정보 기하학을 활용하면 형태학적 부담과 인지 부담을 동시에 최소화하는 최적 정책을 식별할 수 있는가?
• RQ4 신체기반 에이전트에서 형태학적 계산과 통합 정보 사이의 상호보완적 트레이드오프의 본질은 무엇인가?
• RQ5 다양한 형태학적 구성이 과제 수행에서 신체 기반 처리와 뇌 기반 처리 간의 균형을 어떻게 이동시키는가?

주요 결과

• 형태학적 계산과 통합 정보는 상호 배타적인 관계를 가진다: 형태학적 계산이 증가할수록 뇌에서의 통합 정보 필요성이 감소한다.
• 제어기가 행동에 직접적인 영향을 주지 않더라도, 그에 대한 정보 흐름은 제어기의 기능적 역할을 결정하는 데 필수적이다.
• EM 알고리즘이 반복적인 e-투영과 m-투영을 통해 최적 정책을 성공적으로 계산하며, 국소 최소값에 수렴하여 서로 다른 행동 전략을 나타낸다.
• e-투영 공식 Qt(z) = P(z)·Q(g)/P(g)는 목표 확률에 기반해 정책 분포를 조정함으로써 목표 가능성의 최대화를 보장한다.
• m-투영 갱신 P^{t+1}(z) = Qt(ct|at,st) · ˆP(s,g|s,a) · Qt(at) / ∏i Qt(ai^{t+1}|st,ct) · ∏j Qt(cj^{t+1}|st,ct)는 현재 상태와 행동에 조건부로 설정함으로써 효율적인 정책 개선이 가능하다.
• 본 연구는 통합 정보 측정만으로는 제어기의 기여를 평가하는 데 부족하며, 정보 흐름의 역학을 동시에 분석해야 한다는 점을 보여준다.