[논문 리뷰] Contrasting information theoretic decompositions of modulatory and arithmetic interactions in neural information processing systems

Jim Kay, William A. Phillips|arXiv (Cornell University)|2018. 03. 15.

Neural Networks and Applications참고 문헌 25인용 수 4

한 줄 요약

이 논문은 다변량 정보 분해를 사용하여 구동 입력의 전송을 맥락 입력이 조절하는 맥락 조절과 단순 산술 연산(덧셈, 뺄셈, 곱셈, 나눗셈)을 대비한다. 맥락 조절은 유일하게 상호작용을 가능하게 하고, 별개의 정보 처리 방식을 제공하며, 전송 함수 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $ 가 다양한 조건에서 특히 효과적임을 발견하였다. 이는 신경과학 및 맥락 민감한 기계 학습 설계에 통찰을 제공한다.

ABSTRACT

Biological and artificial neural systems are composed of many local processors, and their capabilities depend upon the transfer function that relates each local processor's outputs to its inputs. This paper uses a recent advance in the foundations of information theory to study the properties of local processors that use contextual input to amplify or attenuate transmission of information about their driving inputs. This advance enables the information transmitted by processors with two distinct inputs to be decomposed into those components unique to each input, that shared between the two inputs, and that which depends on both though it is in neither, i.e. synergy. The decompositions that we report here show that contextual modulation has information processing properties that contrast with those of all four simple arithmetic operators, that it can take various forms, and that the form used in our previous studies of artificial neural nets composed of local processors with both driving and contextual inputs is particularly well-suited to provide the distinctive capabilities of contextual modulation under a wide range of conditions. We argue that the decompositions reported here could be compared with those obtained from empirical neurobiological and psychophysical data under conditions thought to reflect contextual modulation. That would then shed new light on the underlying processes involved. Finally, we suggest that such decompositions could aid the design of context-sensitive machine learning algorithms.

연구 동기 및 목표

• 신경 시스템에서 맥락 조절이 단순 산술 연산과 정보 처리 방식에서 어떻게 다를지 이해하는 것.
• 맥락 조절이 기본 산술 연산자에서는 발견되지 않는 고유한 정보 처리 능력을 제공하는지 조사하는 것.
• 신경망 및 인공 네트워크에서 맥락 조절에 적합한 특정 전송 함수의 적합성을 평가하는 것.
• 정보 분해가 맥락 민감한 기계 학습 알고리즘 설계를 안내하는 데 어떻게 활용될 수 있는지 탐색하는 것.
• 정보 이론적 측정을 사용하여 이론적 모델을 신경생물학적 및 심리물리적 데이터와 비교할 수 있는 프레임워크를 제공하는 것.

제안 방법

• 최근 정보 이론의 발전에 기반한 다변량 상호정보 분해를 적용하여, 두 입력(구동 및 맥락)이 局소 프로세서의 출력에 미치는 영향을 분석한다.
• Williams과 Beer(2010)의 프레임워크와 다른 이들의 확장에 따라 상호정보를 고유, 공유, 상호작용 성분으로 분해한다.
• 전달 함수 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $ 로 정의된 맥락 조절의 정보 분해를 덧셈, 뺄셈, 곱셈, 나눗셈의 네 가지 산술 연산과 비교한다.
• 합성 및 모델 기반 데이터에서 정보 분해를 계산 구현하기 위해 dit Python 패키지를 사용한다.
• 정보 성분(고유, 공유, 상호작용)이 다양한 입력 조건과 전달 함수에 따라 어떻게 변화하는지 분석한다.
• 학습 동역학과 계층적 네트워크의 은닉층 추상화를 고려한 분석을 확장하여, 향후 딥 러닝 및 대용량 데이터 알고리즘에의 적용 가능성을 제안한다.

실험 결과

연구 질문

• RQ1 맥락 조절은 덧셈, 뺄셈, 곱셈, 나눗셈 등의 산술 연산과 비교할 때 정보 분해 측면에서 어떻게 다를까?
• RQ2 다양한 입력 조건에서 맥락 조절의 고유한 정보 처리 특성을 가장 잘 반영하는 전달 함수는 무엇인가?
• RQ3 정보 분해를 통해 맥락 조절에서만 발견되는, 산술 연산에서는 없는 고유한 상호작용 성분을 밝혀낼 수 있는가?
• RQ4 정보 분해를 얼마나 잘 활용하여 맥락 민감한 기계 학습 알고리즘을 분석하고 개선할 수 있는가?
• RQ5 맥락 민감한 신경 아키텍처에서 학습 과정 동안 부수적 또는 관련 없는 정보 성분은 어떻게 변화하는가?

주요 결과

• 맥락 조절은 산술 연산 중 어느 것도 갖지 못하는 상호작용 성분을 유의미하게 생성한다.
• 전달 함수 $ T(r,c) = \frac{1}{2}r(1 + \exp(rc)) $ (M1으로 표기) 는 다양한 입력 조건에서 맥락 민감한 정보 처리를 효과적으로 가능하게 하여, 독특하게 유능하다.
• 산술 연산과 달리 맥락 조절은 비선형적이고 맥락에 의존하는 구동 입력의 증폭 또는 감쇠를 가능하게 하여 더 풍부한 정보 처리를 가능하게 한다.
• 정보 분해를 통해 맥락 조절은 각 입력이 별개로 제공하지 못하는 정보를 전달할 수 있음을 드러내며, 이는 모호성을 해소하고 신호의 명확성을 향상시키는 데서 그 역할을 확인할 수 있다.
• 이 연구는 정보 분해가 맥락 민감한 알고리즘을 분석하고 개선하는 데 활용될 수 있음을 시사하며, 특히 딥 네트워크에서의 적용 가능성을 강조한다.
• 연구 결과는 맥락 조절이 신경 시스템에서 별개이자 강력한 메커니즘임을 지지하며, 신경과학 및 인공지능 분야에 응용 가능성을 지닌다.