[논문 리뷰] Deep learning in a bilateral brain with hemispheric specialization

Chandramouli Rajagopalan, David Rawlinson외 2명|arXiv (Cornell University)|2022. 09. 09.

Hemispheric Asymmetry in Neuroscience인용 수 4

한 줄 요약

이 논문은 좌측 반구가 특정 특징에 특화되고 우측 반구가 일반적 특징에 특화되도록 하는 양측성 인공 신경망을 제안한다. 각 반구는 별개의 학습 목표를 갖으며, 가중치가 부여된 어텐션 메커니즘이 이 상보적인 표현을 융합한다. 이는 계층적 이미지 분류 작업에서 단일 브랜치 및 대칭형 베이스라인을 크게 능가하며, 반구 특화가 성능 향상에 기여하고 인공지능 시스템에 생물학적으로 영감을 받은 인덕티브 바이어스를 제공함을 보여준다.

ABSTRACT

The brains of all bilaterally symmetric animals on Earth are divided into left and right hemispheres. The anatomy and functionality of the hemispheres have a large degree of overlap, but there are asymmetries, and they specialise in possesses different attributes. Other authors have used computational models to mimic hemispheric asymmetries with a focus on reproducing human data on semantic and visual processing tasks. We took a different approach and aimed to understand how dual hemispheres in a bilateral architecture interact to perform well in a given task. We propose a bilateral artificial neural network that imitates lateralisation observed in nature: that the left hemisphere specialises in local features and the right in global features. We used different training objectives to achieve the desired specialisation and tested it on an image classification task with two different CNN backbones: ResNet and VGG. Our analysis found that the hemispheres represent complementary features that are exploited by a network head that implements a type of weighted attention. The bilateral architecture outperformed a range of baselines of similar representational capacity that do not exploit differential specialisation, with the exception of a conventional ensemble of unilateral networks trained on dual training objectives for local and global features. The results demonstrate the efficacy of bilateralism, contribute to the discussion of bilateralism in biological brains, and the principle may serve as an inductive bias for new AI systems.

연구 동기 및 목표

• 이중 반구가 기능적으로 특화되어 상호 보완적으로 작용할 때 인지 작업에서 성능 향상이 어떻게 이루어지는지 조사하기 위해.
• 좌측 및 우측 인공 신경망에서의 차별적 특화가 계층적 이미지 작업에서의 분류 정확도 향상에 기여하는지 테스트하기 위해.
• 생물학적 뇌에서 영감을 받은 반구 특화가 인공지능에서 유용한 인덕티브 바이어스가 될 수 있는지 탐색하기 위해.
• 생물학적 및 인공지능 시스템에서 이중성의 지능을 뒷받침할 수 있는 계산적으로 검증 가능한 메커니즘을 제공하기 위해.

제안 방법

• 모델은 좌측 및 우측 반구로 기능하는 두 개의 ResNet-9 합성곱 신경망을 사용하며, 각각 다른 목표로 학습된다: 하나는 특정 클래스에 최적화되고, 다른 하나는 일반 클래스에 최적화된다.
• 좌측 반구는 세부적인, 특정 카테고리(예: 펠리카, 고래새우)를 분류하도록 학습되며, 우측 반구는 더 넓은 범주(예: 해양 생물)를 분류하도록 학습된다.
• 공유된 학습 가능한 완전 연결 층이 가중치가 부여된 어텐션 메커니즘으로 기능하여 양 반구의 특징을 융합하여 최종 예측을 도출한다.
• 이 아키텍처는 일반 및 특정 클래스 레이블을 모두 포함하는 계층적 이미지 분류 벤치마크에서 평가된다.
• 대표력이 동일한 여러 베이스라인(단일 브랜치 네트워크 및 대칭 이중 브랜치 모델 포함)과 성능을 비교한다.
• 각 반구가 추출한 특징의 성격과 그 상보성의 정도를 평가하기 위해 모델의 내부 표현을 분석한다.

실험 결과

연구 질문

• RQ1 좌측 및 우측 반구가 별도의 학습 목표를 갖는 경우, 계층적 이미지 작업에서 분류 성능 향상에 어떻게 기여하는가?
• RQ2 이중 시스템이 대칭형 또는 단일 브랜치 아키텍처를 능가할 수 있는 메커니즘은 무엇인가?
• RQ3 좌측 및 우측 반구가 상보적인 특징—특정성 대비 일반성—을 얼마나 잘 추출하는가? 이는 생물학적 반구 특화와 일치하는가?
• RQ4 간단한 가중치가 부여된 어텐션 메커니즘이 두 개의 별개의 신경 경로에서 유래한 특화된 표현을 효과적으로 통합할 수 있는가?
• RQ5 인공 네트워크에서 반구 특화가 개별 반구의 명시적 목표를 초월해 성능 향상에 기여하는가?

주요 결과

• 이중 아키텍처는 일반 및 특정 이미지 분류 작업 모두에서 단일 브랜치 및 대칭 이중 브랜치 모델을 포함한 모든 유사한 베이스라인을 능가했다.
• 좌측 반구는 국소적이고 세부적인 특징을 추출하는 데 특화되었고, 우측 반구는 비국소적이고 더 넓은 맥락적 패턴을 집중적으로 분석하여 상호 보완성의 기능적 확인이 되었다.
• 가중치가 부여된 어텐션 메커니즘이 특화된 표현을 효과적으로 융합하여, 정확도 향상을 위해 특이성과 일반성을 모두 활용할 수 있었다.
• 성능 향상은 단순한 덧셈이 아니라 특화된 특징 간의 상호작용에서 비롯되었으며, 반구 간의 상호작용이 상호 보완적인 시너지를 만들어냈다.
• 결과는 좌측에서의 특이성, 우측에서의 일반성이라는 반구 특화가 인공 신경망에서 강력한 인덕티브 바이어스가 될 수 있음을 지지한다.
• 모델은 신경과학적 검증 가능한 예측을 제공한다. 예를 들어, 반신경 자극(TMS)의 영향이 반구 손상 여부에 따라 성능에 다르게 작용할 수 있으며, 향후 인지 모델링에서 이중성의 고려가 중요하다는 점을 시사한다.