[논문 리뷰] A Theory of Natural Intelligence

Christoph von der Malsburg, Thilo Stadelmann외 1명|arXiv (Cornell University)|2022. 04. 22.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 자연지능이 뇌의 구조적 규칙성에서 기인하며, 이는 자기조직화된 네트워크 조각으로 표현된다고 제안한다—즉, 네트워크 자기조직화 과정을 통해 형성된 안정적이고 반복적인 네트워크 패턴들이다. 이러한 조각들은 추상적 목표와 구체적인 감각운동 경험 사이를 호메오모르픽 사상으로 연결함으로써 빠른 학습, 일반화 및 자율적 행동을 가능하게 하는 강력한 인덕티브 편향으로 기능한다.

ABSTRACT

Introduction: In contrast to current AI technology, natural intelligence -- the kind of autonomous intelligence that is realized in the brains of animals and humans to attain in their natural environment goals defined by a repertoire of innate behavioral schemata -- is far superior in terms of learning speed, generalization capabilities, autonomy and creativity. How are these strengths, by what means are ideas and imagination produced in natural neural networks? Methods: Reviewing the literature, we put forward the argument that both our natural environment and the brain are of low complexity, that is, require for their generation very little information and are consequently both highly structured. We further argue that the structures of brain and natural environment are closely related. Results: We propose that the structural regularity of the brain takes the form of net fragments (self-organized network patterns) and that these serve as the powerful inductive bias that enables the brain to learn quickly, generalize from few examples and bridge the gap between abstractly defined general goals and concrete situations. Conclusions: Our results have important bearings on open problems in artificial neural network research.

연구 동기 및 목표

• 현재의 인공지능 시스템에 비해 자연지능이 훨씬 빠른 학습 속도, 일반화 능력, 자율성을 보이는 이유를 설명하기 위해.
• 유전적 정보나 경험만으로는 제공되지 않는 효율적 학습을 가능하게 하는 데 missing mechanism인 신경망 내의 구조적 규칙성을 특정하기 위해.
• 네트워크 자기조직화 과정을 통해 형성된 네트워크 조각(net fragments)이 지능적 행동을 위한 핵심 인덕티브 편향 역할을 한다고 제안하기 위해.
• 공통의 구조적 패턴을 통해 추상적 행동 체계와 구체적인 지각 경험 간의 추상성 격차를 메우기 위해 호메오모르픽 사상을 사용하기 위해.
• 뇌의 구조적 규칙성을 모방함으로써 인공 시스템에서 자율적이고 목표 지향적인 학습을 위한 통합된 프레임워크를 제공하기 위해.

제안 방법

• 뇌 연결성의 코모고로프 알고리즘으로서 네트워크 자기조직화를 제안하여, 복잡한 신경 구조를 생성하기 위해 필요한 정보를 최소화한다.
• 자기조직화되고 반복적인 네트워크 패턴인 '넷 조각(net fragments)'을 도입하여, 이는 구조적 규칙성을 인코딩하고 인덕티브 편향으로 기능한다.
• 공통의 구조적 패턴을 통해 추상적 행동 체계와 구체적 장면 표현 간의 호메오모르픽 사상을 사용한다.
• 장면 표현을 환경의 본질적인 관계적 및 공간적 구조를 포착하는 넷 조각들의 조합으로 모델링한다.
• 뇌 연결성은 낮은 코모고로프 복잡도를 가지며, 이는 알고리즘적 정보가 최소화됨을 의미하고, 높은 구조적 규칙성을 암시한다.
• 메타학습을 통해 넷 조각의 조합을 통해 경험을 기억에 고정시키기 위한 적절한 추상 수준을 식별할 수 있다고 제안한다.

실험 결과

연구 질문

• RQ1 유전적 정보와 경험의 정보량이 낮음에도 불구하고 자연지능은 어떻게 소수의 데이터로도 빠르고 일반화 가능한 학습을 달성할 수 있는가?
• RQ2 뇌의 어떤 구조적 메커니즘이 유전적 행동 체계에서부터 민첩하고 맥락에 민감한 행동으로의 전이를 가능하게 하는가?
• RQ3 외부 프로그래밍이나 양자 효과에 의존하지 않고 생각과 상상은 신경망 동역학에서 어떻게 기원하는가?
• RQ4 넷 조각으로 표현된 구조적 규칙성이 효율적 학습을 위한 인덕티브 편향을 어떻게 제공하는가?
• RQ5 인공 시스템은 뇌의 구조적 자기조직화를 모방함으로써 어떻게 자율성과 일반지각 추론을 달성할 수 있는가?

주요 결과

• 인간 뇌의 연결성은 페타바이트 단위로 기술되어야 하지만, 그 생성에 사용되는 코모고로프 알고리즘의 복잡도는 훨씬 낮아 극도로 높은 구조적 규칙성을 암시한다.
• 넷 조각—자기조직화되고 반복적인 네트워크 패턴—은 도메인 특화된 인덕티브 편향으로 작용하여 빠른 학습과 일반화를 가능하게 한다.
• 망막도메인 지도의 발달 과정은 자기조직화가 낮은 정보로도 구조적 규칙성을 생성하는 메커니즘임을 보여주는 사례이다.
• 뇌의 구조적 규칙성 덕분에 소수의 예시로도 학습하고 보고된 데이터를 초월한 일반화가 가능하여 현재의 인공지능 시스템의 한계를 극복한다.
• 행동 체계와 장면 표현 간의 호메오모르픽 사상은 뇌가 추상적 목표를 구체적인 감각운동 경험과 연결할 수 있도록 한다.
• 인간 지능이 동물 지능보다 뛰어난 것은 유전적으로 기초한 넷 조각 기반 신경 구조에 문화적으로 축적된 풍부한 체계를 통합함으로써 가능해지며, 이는 핵심 요소로 작용한다.