[논문 리뷰] The Convergence of AI code and Cortical Functioning -- a Commentary

David Mumford|arXiv (Cornell University)|2020. 10. 18.

AI-based Problem Solving and Planning인용 수 12

한 줄 요약

이 논고는 현대 딥러닝 아키텍처—특히 Rectified Linear Units(ReLU)와 어텐션 메커니즘을 갖춘 깊은 신경망—이 영양성 피질의 계산과 구조적으로 및 功能적으로 수렴하고 있다고 주장한다. 신경과학과 AI의 통찰을 바탕으로, 일반 인공지능은 상징적 추론이 아니라 분산형, 계층형, 피드백 보완형 딥러닝 시스템을 통해 도출될 것이며, 이는皮질 조직을 모방하지만 인간의 해석에는 어려움을 겪을 수 있다.

ABSTRACT

Neural nets, one of the oldest architectures for AI programming, are loosely based on biological neurons and their properties. Recent work on language applications has made the AI code closer to biological reality in several ways. This commentary examines this convergence and, in light of what is known of neocortical structure, addresses the question of whether ``general AI'' looks attainable with these tools.

연구 동기 및 목표

• 인공신경망과 생물학적 피질 신경계 계산 간의 점점 커지는 유사성에 대해 검토한다.
• 현대 딥러닝 아키텍처가 일반 인공지능을 달성할 수 있는지 평가한다.
• 인지 및 AI에서 분산 표현과 이산 토큰 간의 역할을 조사한다.
• 인간 수준의 지능을 달성하기 위해 피드백 경로와 기억 시스템이 왜 필수적인지 탐색한다.
• 현재의 AI 시스템, 예를 들어 트랜스포머가 피질 원칙을 반영하는지 여부를 평가한다.

제안 방법

• ReLU 활성화 함수를 사용하여 깊은 신경망을 조각별 선형 함수로 모델링하고, 계층적 레이어와 역전파를 통한 학습 가능한 가중치를 적용한다.
• 역전파가 막대한 파rameter 수에도 불구하고 과적합을 방지하고 일반화를 가능하게 하는 방식을 분석한다.
• 잔차 연결, 드롭아웃, 배치 정규화 등의 인공신경망 구성 요소가 알려진 생물학적 신경 메커니즘과 어떻게 유사한지 비교한다.
• 피드백이 피질 처리에서 변화 감지 및 비교를 통한 인식을 가능하게 하는 데 어떤 역할을 하는지 조사한다.
• 예를 들어 word2vec, BERT와 같은 토큰 기반 표현과 인지 모델링에서 분산 벡터 표현을 대비한다.
• 의식은 개별 뉴런이나 이산 기호에서 비롯되지 않고, 분산된 신경 활동을 해석하는 고수준 디코더에서 유도된 후행적 해석으로 나타날 수 있으며, 이는 BERT가 연속적 표현에서 이산 토큰을 출력하는 방식과 유사하다고 제안한다.

실험 결과

연구 질문

• RQ1 현대 딥러닝 신경망이 유비조의 피질 신경계의 구조적 및 功能적 조직을 어느 정도 모방하고 있는가?
• RQ2 역전파를 통해 끝에서 끝까지 학습된 단순 딥 네트워크만으로 일반 인공지능을 달성할 수 있는가, 아니면 피드백 및 기억 시스템과 같은 추가 메커니즘이 필요한가?
• RQ3 언어가 사고를 형성한다는 워프형 가설이 현대 AI 아키텍처에 의해 지지되는가, 아니면 분산 표현이 인간 인지의 본질을 더 잘 반영하는가?
• RQ4 기울기 기반 딥 네트워크가 높은 용량에도 불구하고 왜 이렇게 잘 일반화되는가, 이는 생물학적 학습에 대해 어떤 시사점을 갖는가?
• RQ5 피질의 피드백 연결이 인식과 인지에 어떤 기여를 하는가, 그리고 이는 인공 시스템에서 의미 있게 모방될 수 있는가?

주요 결과

• ReLU, 잔차 연결, 드롭아웃, 배치 정규화를 사용하는 현대 딥러닝 신경망은 생물학적 타당성과 성능이 점점 높아지며, 피질 계산과의 수렴을 시사한다.
• 복잡한 구조에도 불구하고 이러한 네트워크는 새로운 데이터에 대해 잘 일반화되며, 이는 이론적으로 아직 완전히 설명되지 않은 현상으로, 생물학적 학습과 유사한 강건성을 나타낸다.
• BERT나 트랜스포머와 같은 모델의 성공은 분산 표현—이산 토큰보다 더 나은 방식으로 사고와 언어의 본질적 구조를 반영한다—가 더 우월하다는 것을 시사한다.
• 입력과 기억 간의 변화 감지를 위한 피드백 메커니즘은 인식과 이해에 필수적이며, 현재의 AI 아키텍처에서는 여전히 부족한 편이다.
• 의식은 개별 뉴런이나 이산 기호에서 기인하는 것이 아니라, 분산된 신경 활동을 해석하는 고수준 디코더에서 유도되는 것으로 보이며, 이는 BERT가 연속적 표현에서 이산 단어를 출력하는 방식과 유사하다.
• 미래의 AI 시스템은 복잡한 분산 표현에 의해 구동되어 단순한 설명이 어려우며, 인간 인지의 신비와 유사하게 투명하지 않을 것이다.