[논문 리뷰] Evolving Self-taught Neural Networks: The Baldwin Effect and the Emergence of Intelligence

Nam Le|arXiv (Cornell University)|2019. 04. 04.

Language and cultural evolution참고 문헌 22인용 수 5

한 줄 요약

이 논문은 외부 지도 없이 내재적 동기를 통해 자율적으로 학습하는 진화하는 자기학습 신경망—신경망을 소개한다. 다중 에이전트 사냥 환경에서 진화와 자기학습을 융합함으로써, 진화나 자기학습만으로는 달성할 수 없는 우월한 탄생적 지능형 사냥 전략을 도출한다. 이는 인공 신경망 시스템에서 복잡성 이론의 복잡성 효과(Baldwin Effect)를 입증한다.

ABSTRACT

The so-called Baldwin Effect generally says how learning, as a form of ontogenetic adaptation, can influence the process of phylogenetic adaptation, or evolution. This idea has also been taken into computation in which evolution and learning are used as computational metaphors, including evolving neural networks. This paper presents a technique called evolving self-taught neural networks - neural networks that can teach themselves without external supervision or reward. The self-taught neural network is intrinsically motivated. Moreover, the self-taught neural network is the product of the interplay between evolution and learning. We simulate a multi-agent system in which neural networks are used to control autonomous agents. These agents have to forage for resources and compete for their own survival. Experimental results show that the interaction between evolution and the ability to teach oneself in self-taught neural networks outperform evolution and self-teaching alone. More specifically, the emergence of an intelligent foraging strategy is also demonstrated through that interaction. Indications for future work on evolving neural networks are also presented.

연구 동기 및 목표

• 외부 지도나 보상 없이 자기학습할 수 있는 새로운 신경망 방법을 개발하기 위해.
• 진화와 자기학습 간의 상호작용이 자율 에이전트의 적응 행동을 어떻게 향상시키는지 조사하기 위해.
• 에이전트들이 사냥하고 경쟁해야 하는 다중 에이전트 환경을 시뮬레이션하여 지능적인 전략의 탄생을 테스트하기 위해.
• 학습과 진화가 공진화하는 다중 에이전트 시스템에서 학습과 진화의 상호작용을 통해 복잡성 이론의 복잡성 효과가 어떻게 나타나는지 보여주기 위해.
• 자기학습 신경망이 비지도 학습 및 향후 AGI 개발에 어떻게 기여할 수 있는지 탐색하기 위해.

제안 방법

• 초기 가중치와 네트워크 구조를 최적화하기 위해 유전 알고리즘을 사용해 신경망을 진화시킨다.
• 에이전트는 내재적 동기를 통해 자기학습을 이끌며, 환경 상호작용에서 유도된 내부 보상 신호에 기반해 가중치를 업데이트한다.
• 시스템은 제한된 감각 입력과 지도나 다른 에이전트에 대한 사전 지식이 없는 다중 에이전트 사냥 세계에서 작동한다.
• 자기학습은 비지도 학습을 통해 이루어지며, 외부 레이블 없이 내부 피드백을 통해 행동을 향상시킨다.
• 진화와 자기학습은 상호 공진화한다: 자기학습된 에이전트는 세대를 거쳐 적합도를 향상시킴으로써 진화적 경로에 영향을 준다.
• 고정 깊이의 얕은 순전파 신경망 아키텍처에서 진화적 탐색과 기울기 기반 학습을 융합한다.

실험 결과

연구 질문

• RQ1 외부 지도 없이 자기학습을 통해 신경망이 자율적으로 지능적인 사냥 전략을 개발할 수 있는가?
• RQ2 진화와 자기학습 간의 상호작용이 고립된 각 방법보다 더 뛰어난 적응 행동을 어떻게 향상시키는가?
• RQ3 학습과 진화가 다중 에이전트 시스템에서 공진화할 경우 인공 신경망에서 복잡성 이론의 복잡성 효과가 나타나는가?
• RQ4 자기학습에서의 내재적 동기가 경쟁 환경에서 복잡하고 조율된 행동의 탄생을 이끌 수 있는가?
• RQ5 진화된 초기 가중치가 랜덤 초기화보다 자기학습의 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• EVO+Self-taught 방법은 사냥 성공률에서 진화 전용 또는 자기학습 전용 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 세대를 거치며 지능적인 사냥 전략이 탄생했으며, 대부분의 에이전트가 사전 지도 없이도 최종 세대에 도달하여 식량 원천에 도달하는 데 성공했다.
• 시스템은 복잡성 이론의 복잡성 효과를 입증했다: 자기학습이 진화를 더 적응적인 해결책으로 이끌었으며, 이는 진화나 학습만으로는 도달할 수 없었다.
• 최종 세대의 에이전트들은 제한된 감각 입력과 의사소통 없이도 식량 원천으로 향하는 협동 행동을 보였고, 효과적으로 경쟁했다.
• 결과는 진화된 초기 가중치가 무작위 초기화보다 자기학습의 속도와 효율성을 높이며, 진화가 신경망의 학습 능력을 형성한다는 가설을 뒷받침한다.
• 이 연구는 자기학습 신경망이 비지도 또는 약한 지도 학습의 기초로 활용될 수 있으며, 인공지능의 일반화에 대한 함의를 제시한다.