[논문 리뷰] A General Framework for Interpretable Neural Learning based on Local Information-Theoretic Goal Functions

Abdullah Makkeh, Marcel Graetz외 4명|arXiv (Cornell University)|2023. 06. 03.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 부분적 정보 분해(PID)에서 유도된 국소적 정보 처리 목표를 최적화함으로써 학습하는 인공 뉴런으로 구성된 인포모픽 네트워크를 소개한다. 미분 가능한 PID 측정법을 활용해, 이러한 네트워크는 해석 가능하고 정보 이론적인 목적 함수를 바탕으로 지도학습, 비지도학습, 메모리 기반 학습을 수행하며, PID 기반 학습 규칙이 자율적으로 조직화되고 기능적으로 전문화된 신경 동역학을 가능하게 함을 보여준다.

ABSTRACT

Despite the impressive performance of biological and artificial networks, an intuitive understanding of how their local learning dynamics contribute to network-level task solutions remains a challenge to this date. Efforts to bring learning to a more local scale indeed lead to valuable insights, however, a general constructive approach to describe local learning goals that is both interpretable and adaptable across diverse tasks is still missing. We have previously formulated a local information processing goal that is highly adaptable and interpretable for a model neuron with compartmental structure. Building on recent advances in Partial Information Decomposition (PID), we here derive a corresponding parametric local learning rule, which allows us to introduce 'infomorphic' neural networks. We demonstrate the versatility of these networks to perform tasks from supervised, unsupervised and memory learning. By leveraging the interpretable nature of the PID framework, infomorphic networks represent a valuable tool to advance our understanding of the intricate structure of local learning.

연구 동기 및 목표

• 생물학적으로 타당하고 해석 가능한 신경 계산 모델을 개발하여, 전역적 작업 의미론에 의존하지 않고 국소적 정보 처리를 포착한다.
• 전통적 정보 이론이 뉴런에서 다중 소스 입력 통합을 모델링하는 데 한계가 있음을 해결하기 위해 부분적 정보 분해(PID)를 활용한다.
• 다양이 가능한 PID 원소를 국소적 학습 목표로 사용하여 인공 뉴런을 훈련시킬 수 있음을 입증한다.
• PID 기반 학습 규칙이 분류, 표현 학습, 연관 기억과 같은 다양한 학습 철학을 지원할 수 있음을 보여준다.
• 정보 이론 원리를 통해 자율 조직화와 기능적 전문화를 연구할 수 있는 프레임워크를 제공한다.

제안 방법

• PID 원소—유일한, 중복된, 상호작용적인, 총합 정보—에 대한 분석적 기울기를 유도하여 PID 프레임워크를 통해 역전파를 가능하게 한다.
• PID 원소의 가중 조합에 기반한 새로운 국소적 학습 규칙을 제안하며, 각 정보 구성 요소의 상대적 중요도를 지정하는 초매개변수(Γ)를 사용한다.
• 뉴런은 학습 가능한 가중치(wR, wC)를 통해 다수의 소스(수용체 및 맥락적) 입력을 통합하며, 엔트로피와 상관정보 추정을 위해 입력을 버킷으로 이산화한다.
• 학습 과정은 이중 단계 훈련 체계를 사용한다: 초기 단계에서 가중치를 끌어당기는 안정화 과정을 거친 후, 적응형 학습률(η)과 정규화(λ)를 사용한 표준 최적화를 수행한다.
• 네트워크는 PID 기반 정보 목표로 구성된 손실 함수를 기반으로 확률적 경사 하강법으로 훈련되며, 입력 데이터는 {−1, 1}에 속하는 이산 벡터로 인코딩된다.
• 프레임워크는 미분 가능한 PID 측정법 I^sx를 사용하여, 정보 이론 원리에 기반한 엔드 투 엔드 훈련이 가능한 신경망을 실현한다.

Figure 1: Output information of an infomorphic neuron consists of 5 distinct information contributions. A The total output information $H(Y)$ of a neuron that consists of the mutual information with the inputs $I(Y:\mathbf{X}_{R},\mathbf{X}_{C})$ and the stochasticity $H(Y\mid\mathbf{X}_{R},\mathbf{

실험 결과

연구 질문

• RQ1 인공 뉴런은 부분적 정보 분해(PID)에서 유도된 국소적이고 해석 가능한 정보 처리 목표를 사용해 훈련시킬 수 있는가?
• RQ2 PID 기반 학습 규칙은 지도학습, 비지도 표현 학습, 연관 기억과 같은 다양한 학습 철학을 어떻게 지원하는가?
• RQ3 PID 원소(유일한, 중복된, 상호작용적인 정보)는 신경망의 기능적 전문화와 자율 조직화에 얼마나 큰 영향을 미치는가?
• RQ4 미분 가능한 PID를 사용하면 전체 네트워크를 통해 역전파 없이도 안정적이고 효과적인 신경망 훈련이 가능한가?
• RQ5 PID 기반 학습 규칙은 해석 가능하고 기능적으로 의미 있는 신경 동역학을 생성할 수 있으며, 이는皮질 계산 원리와 어떻게 부합하는가?

주요 결과

• 적절한 초매개변수 설정 하에, 인포모픽 네트워크는 PID 기반 학습 규칙을 사용해 지도 분류 작업을 성공적으로 수행하며 안정적인 수렴을 보였다.
• 비지도 학습에서는 I_unq(Y:R)과 I_unq(Y:C)를 목적 함수로 사용한 네트워크가 입력 패턴 내 독립적인 막대를 인식하여 특징 발견을 성공적으로 수행했다.
• 연관 기억 작업에서는 Γ = (0.1, 0.1, 1.0, 0.1, 0) 조건에서 단일 프레젠테이션 후 19단계 동안 저장된 패턴을 성공적으로 재생하여 강력한 기억 유지 능력을 입증했다.
• 초기 훈련 단계에서 가중치 끌어당김(λ > 0)을 적용함으로써 수렴성과 안정성이 향상되었으며, 특히 비지도 표현 학습과 같은 복잡한 작업에서 유의미한 효과를 보였다.
• 작은 버킷 크기(nR = 20)도 연관 기억 작업에서 성능 저하를 유발하지 않아, 이산화 선택에 대해 강건함을 시사했다.
• 프레임워크는 다양한 네트워크 아키텍처와 학습 목표를 지원하여, 다양한 철학에서 PID 기반 국소적 학습 규칙의 유연성과 적용 가능성을 확인했다.

Figure 2: Illustration of the basic structure of an infomorphic neuron, inspired by the morphology of cortical pyramidal neurons. A Overlay of coherent infomax neural processor developed originally by Kay and Phillips ( 2011 ) on layer 5 pyramidal cells, highlighting potential parallels to existing