[논문 리뷰] The Future of Neural Networks

Sachin Lakra, T. V. Prasad외 1명|arXiv (Cornell University)|2012. 09. 20.

Neural Networks and Applications참고 문헌 13인용 수 4

한 줄 요약

이 논문은 뇌에 영감을 받은 계산을 위한 차세대 신경망 아키텍처를 탐구하며, 펄스 신경망과 다중/무한차원 신경망을 인공 일반 지능 향한 발전으로 제안한다. 메모리스터 기반 하드웨어인 MoNETA를 통해 에너지 효율적이고 뇌와 유사한 계산을 가능하게 하며, 신경망이 인간과 유사한 기계 개발에 필수적임을 강조한다.

ABSTRACT

The paper describes some recent developments in neural networks and discusses the applicability of neural networks in the development of a machine that mimics the human brain. The paper mentions a new architecture, the pulsed neural network that is being considered as the next generation of neural networks. The paper also explores the use of memristors in the development of a brain-like computer called the MoNETA. A new model, multi/infinite dimensional neural networks, are a recent development in the area of advanced neural networks. The paper concludes that the need of neural networks in the development of human-like technology is essential and may be non-expendable for it.

연구 동기 및 목표

• 인간 뇌의 功能을 모방하는 차세대 신경망 아키텍처를 조사하기 위해.
• 메모리스터와 같은 신규 하드웨어 구성 요소가 뇌와 유사한 계산을 가능하게 하는 역할를 검토하기 위해.
• 펄스 신경망과 다중/무한차원 신경망이 인공 일반 지능을 발전시키는 데 기여할 잠재력을 평가하기 위해.
• 신경망이 인간과 유사한 기술을 개발하는 데 실현 가능하고 필수적인지를 평가하기 위해.
• 최신 신경망 모델과 새로운 뉴모르픽 하드웨어 시스템 간의 통합을 탐구하기 위해.

제안 방법

• 생물학적 뉴런의 스파iking 행동을 모방하는 새로운 아키텍처로 펄스 신경망을 제안한다.
• 복잡하고 고차원적인 데이터를 처리하기 위한 고급 모델로 다중/무한차원 신경망을 소개한다.
• 시냅스 유사 기능을 가진 비揮성 메모리 장치인 메모리스터를 사용하여 에너지 효율적인 뉴모르픽 하드웨어를 구축한다.
• 메모리스터 기반 장치를 사용하는 뇌에 영감을 받은 컴퓨터인 MoNETA(Memory of Neurons and Temporal Association) 아키텍처를 기술한다.
• 펄스 신경망과 메모리스터 기반 하드웨어의 통합을 분석하여 저전력·고효율 계산을 달성한다.
• 생물학적 뇌 기능을 더 잘 모방하기 위해 동적이고 시간 기반 신호 처리의 중요성을 강조한다.

실험 결과

연구 질문

• RQ1 펄스 신경망은 인공 신경망의 효율성과 생물학적 타당성을 어떻게 향상시킬 수 있는가?
• RQ2 메모리스터는 확장 가능하고 저전력 뉴모르픽 컴퓨팅 시스템을 가능하게 하기 위해 어떤 역할을 하는가?
• RQ3 다중/무한차원 신경망은 인공지능의 학습과 표현 능력을 어떻게 향상시킬 수 있는가?
• RQ4 MoNETA 아키텍처는 뇌와 유사한 계산 시스템을 구축하는 데 실현 가능한 플랫폼이 될 수 있는가?
• RQ5 신경망이 인간 수준의 인지 능력을 달성하기 위해 필수적인 조건은 무엇인가?

주요 결과

• 펄스 신경망은 생물학적 타당성과 에너지 효율성 덕분에 차세대 아키텍처로서 유망한 것으로 확인된다.
• 메모리스터는 하드웨어에서 시냅스 유사 기능을 실현함으로써 뇌와 유사한 계산을 실현하는 데 핵심적인 구성 요소로 입증된다.
• MoNETA 아키텍처는 메모리스터 기반 장치를 사용하여 뉴모르픽 시스템을 구축하는 데 실용적인 프레임워크로 제안된다.
• 다중/무한차원 신경망은 더 높은 표현 능력을 가진 복잡하고 고차원적인 데이터를 모델링하는 데 있어 중요한 발전을 나타낸다.
• 논문은 신경망이 단지 유익한 것이 아니라 인간과 유사한 인공지능 시스템 개발에 필수적임을 결론 내린다.
• 신경망은 복잡한 인지 기능을 모델링할 수 있는 능력 덕분에 인공 일반 지능을 달성하기 위해 대체 불가능하다고 판단된다.