[논문 리뷰] Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks

Alexandra M. Proca, Fernando E. Rosas외 4명|arXiv (Cornell University)|2022. 10. 06.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 인공신경망에서 상호보완적 정보가 다중모odal 학습과 영리한 학습을 어떻게 지원하는지 분석하기 위해 부분정보분해(Partial Information Decomposition, PID)를 적용하여 지도학습 및 강화학습 동안의 정보처리를 분석한다. 연구 결과, 네트워크가 다수의 다양한 과제를 학습할 때 상호보완성이 증가하여 모odal 통합과 효율적 학습이 가능해지며, 드롭아웃은 내성적 복원력을 높이기 위해 재현성을 증가시킨다—이는 인공적 및 생물학적 시스템 모두에서 일반 목적의 인지 기능을 뒷받침하는 상호보완성의 핵심 역할을 시사한다.

ABSTRACT

Striking progress has recently been made in understanding human cognition by analyzing how its neuronal underpinnings are engaged in different modes of information processing. Specifically, neural information can be decomposed into synergistic, redundant, and unique features, with synergistic components being particularly aligned with complex cognition. However, two fundamental questions remain unanswered: (a) precisely how and why a cognitive system can become highly synergistic; and (b) how these informational states map onto artificial neural networks in various learning modes. To address these questions, here we employ an information-decomposition framework to investigate the information processing strategies adopted by simple artificial neural networks performing a variety of cognitive tasks in both supervised and reinforcement learning settings. Our results show that synergy increases as neural networks learn multiple diverse tasks. Furthermore, performance in tasks requiring integration of multiple information sources critically relies on synergistic neurons. Finally, randomly turning off neurons during training through dropout increases network redundancy, corresponding to an increase in robustness. Overall, our results suggest that while redundant information is required for robustness to perturbations in the learning process, synergistic information is used to combine information from multiple modalities -- and more generally for flexible and efficient learning. These findings open the door to new ways of investigating how and why learning systems employ specific information-processing strategies, and support the principle that the capacity for general-purpose learning critically relies in the system's information dynamics.

연구 동기 및 목표

• 학습 과정에서 인공신경망 내 상호보완적 정보가 어떻게 발생하는지 및 그 기능적 역할이 인지 기능에 어떻게 기여하는지 이해하기.
• 다중과제 환경에서 정보분해 성분(상호보완성, 재현성, 유일성)과 학습 성능 간의 관계를 조사하기.
• 드롭아웃과 같은 학습 제도가 신경망 내 정보처리 역학에 미치는 영향을 탐구하기.
• 정보역학이 인공 시스템에서 일반 목적의 학습을 어떻게 지원하는지에 대한 계산적 기반을 확립하기.
• 특히 고차원 인지 기능과 관련된 뇌 영역과 관련하여 인공망과 생물학적 신경망 간의 유사성을 도출하기.

제안 방법

• 신경망 활성화에서 정보를 고유, 재현, 상호보완성 성분으로 분해하기 위해 부분정보분해(Partial Information Decomposition, PID)를 적용하였다.
• 논리 게이트, 3차원 탐색, 그리고 인지결정기준(Animal-AI, NeuroGym)과 같은 다양한 과제를 소규모 인공신경망에 학습시켰다.
• 지도학습과 강화학습(순환 연결 여부에 따라)을 사용하여 다양한 학습 제도에서의 정보처리를 평가하였다.
• 결과의 탄력성을 확보하기 위해 두 가지 별도의 재현성 측정법($I_{\text{MMI}}$ 및 $I_{\min}$)과 다수의 정보추정기법(이산형 및 연속형)을 사용하였다.
• 특정 학습 맥락에서 지배적인 정보 유형(상호보완성, 고유성, 재현성)을 가지는 뉴런을 특정하기 위해 뉴런 수준의 정보량을 분석하였다.
• 학습 중 뉴런을 무작위로 비활성화하여 드롭아웃의 영향을 평가하고 재현성 및 상호보완성의 변화를 측정하였다.

실험 결과

연구 질문

• RQ1 다양한 과제를 동시에 학습할 때 상호보완성은 단일 과제 학습과 비교해 어떻게 변화하는가?
• RQ2 다양한 정보원의 통합이 필요한 과제에서 상호보완적 정보는 어떤 기능적 역할을 하는가?
• RQ3 학습 중 드롭아웃이 신경망 내 고유, 재현, 상호보완성 정보의 분포에 어떤 영향을 미치는가?
• RQ4 정보분해 성분이 생물학적 뇌에서 알려진 기능적 특화와 어느 정도 일치하는가?
• RQ5 상호보완적 정보처리는 인공 시스템에서 영리하고 일반 목적의 학습과 연결될 수 있는가?

주요 결과

• 다양한 과제를 동시에 학습할 때 신경망 내 상호보완성이 크게 증가하며, 특히 여러 정보원의 통합이 필요한 과제에서 두드러진다.
• 다중모달 또는 다중원천 통합이 필요한 과제에서는 고유한 상호보완적 정보량을 지닌 뉴런에 강한 의존성이 나타난다.
• 학습 중 드롭아웃은 재현성을 증가시키고 복원력을 높이며, 과제에 무관한 특징을 최소화하여 내성적 복원력 기능을 위한 재현성의 기능적 역할을 시사한다.
• 물리학 시뮬레이션을 포함한 복잡한 강화학습 환경에서는 다양한 감각적 및 맥락적 입력을 통합함으로써 상호보완성이 발생한다.
• 서로 충돌하는 여러 과제의 통합은 상호보완적 정보의 증가를 특별히 유도하며, 이는 영리하고 적응적인 행동을 지원한다.
• 순수 선택성을 가지는 뉴런은 주로 고유성 및 재현성 표현을 보이며, 상호보완성 뉴런은 정보 통합과 영리한 학습의 중심에 있다.