[논문 리뷰] Harnessing Intrinsic Noise in Memristor Hopfield Neural Networks for Combinatorial Optimization

Fuxi Cai, Suhas Kumar외 9명|arXiv (Cornell University)|2019. 03. 26.

Advanced Memory and Neural Computing참고 문헌 68인용 수 25

한 줄 요약

이 논문은 최대 컷(max-cut) 문제와 같은 NP-완전 조합 최적화 문제를 해결하기 위해 크로스바 어레이 내부의 고유한 아날로그 노이즈를 계산 자원으로 활용하는 메모리스터 기반 호프필드 신경망(memristor-based Hopfield Neural Network, mem-HNN)을 제안한다. CMOS-메모리스터 하이브리드 아키텍처에서 다량의 병렬 아날로그 연산을 통해, 디지털 또는 양자 앤날링 방법보다 단위 전력당 솔루션 처리 속도가 10,000배 이상 뛰어나며, 실온에서 작동하면서도 확장 가능하고 노이즈에 강건한 성능을 입증하였다.

ABSTRACT

We describe a hybrid analog-digital computing approach to solve important combinatorial optimization problems that leverages memristors (two-terminal nonvolatile memories). While previous memristor accelerators have had to minimize analog noise effects, we show that our optimization solver harnesses such noise as a computing resource. Here we describe a memristor-Hopfield Neural Network (mem-HNN) with massively parallel operations performed in a dense crossbar array. We provide experimental demonstrations solving NP-hard max-cut problems directly in analog crossbar arrays, and supplement this with experimentally-grounded simulations to explore scalability with problem size, providing the success probabilities, time and energy to solution, and interactions with intrinsic analog noise. Compared to fully digital approaches, and present-day quantum and optical accelerators, we forecast the mem-HNN to have over four orders of magnitude higher solution throughput per power consumption. This suggests substantially improved performance and scalability compared to current quantum annealing approaches, while operating at room temperature and taking advantage of existing CMOS technology augmented with emerging analog non-volatile memristors.

연구 동기 및 목표

• NP-완전 조합 최적화 문제를 해결하기 위한 확장 가능하고 에너지 효율적인 아날로그-디지털 하이브리드 아키텍처를 개발하는 것.
• 기존 아날로그 노이즈를 결함으로 보는 시각을 뛰어넘어, 최적화 과정에서 계산 자원으로 재활용하는 것.
• 실험 및 시뮬레이션 기반 검증을 통해 메모리스터 크로스바 어레이가 최대 컷 문제를 해결하는 데 실용적으로 가능함을 입증하는 것.
• 솔루션 처리 속도와 에너지 효율성 측면에서 디지털, 양자, 광학 가속기와의 성능 비교를 수행하는 것.
• 미래의 비휘발성 메모리 장치를 활용한 실온, CMOS 호환 하드웨어 가속기로의 길을 마련하는 것.

제안 방법

• mem-HNN는 밀도 높은 메모리스터 크로스바 어레이를 사용하여 호프필드 에너지 함수를 구현함으로써 다량의 병렬 상태 갱신을 가능하게 한다.
• 메모리스터 내부의 고유한 아날로그 노이즈를 최적화 과정에서 局부 최소값에서 벗어나기 위한 확률적 교란 메커니즘으로 활용한다.
• 하이브리드 아날로그-디지털 제어 체계를 사용한다: 메모리스터 어레이에서 아날로그 연산을 수행하고, 상태 보정 및 수렴 모니터링을 위해 디지털 피드백을 활용한다.
• 문제 인스턴스는 초기 가중치와 편향에 인코딩되며, 네트워크는 유효한 해에 해당하는 낮은 에너지 상태로 수렴한다.
• 다양한 문제 크기에서 실험 기반 시뮬레이션을 통해 성공 확률, 솔루션 도달 시간, 에너지 소비를 평가한다.
• 실제 메모리스터 장치와 노이즈를 반영한 시뮬레이션을 사용하여 최대 컷 문제에 대한 접근의 확장 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 메모리스터 크로스바 내부의 고유한 아날로그 노이즈를 오류의 원인이 아니라 계산 자원으로 효과적으로 활용할 수 있는가?
• RQ2 디지털 및 양자 앤날링 시스템과 비교해 mem-HNN는 NP-완전 최대 컷 문제를 어떻게 해결하는가?
• RQ3 문제 크기가 증가함에 따라 mem-HNN의 솔루션 처리 속도 및 에너지 효율성 측면에서의 확장 가능성은 어떠한가?
• RQ4 하이브리드 아날로그-디지털 제어 체계는 장치의 비이상성과 노이즈에도 불구하고 솔루션의 정밀도를 어떻게 유지하는가?
• RQ5 에너지-지연 제품과 단위 전력당 처리 속도 측면에서 기존 가속기 대비 mem-HNN는 상당한 성능 우위를 확보할 수 있는가?

주요 결과

• mem-HNN는 완전히 디지털이거나 현재의 양자 및 광학 가속기 대비 단위 전력당 솔루션 처리 속도가 4개 지수 이상 뛰어나다.
• 실험적 결과는 고유한 아날로그 메모리스터 크로스바 어레이에서 최대 컷 문제를 높은 성공 확률로 직접 해결함을 보여준다.
• 시뮬레이션 결과는 문제 크기가 수천 개의 변수에 이르기까지 증가하더라도 높은 솔루션 품질을 유지함을 확인한다.
• 시스템은 고유한 노이즈를 활용해 局부 최소값에서 벗어나 전역 또는 근사 전역 최적해로 수렴하는 데 기여한다.
• 아키텍처는 실온에서 작동하며 기존 CMOS 기술과 호환되어 실용적인 통합이 가능하다.
• 솔루션 당 에너지 소비는 디지털 및 양자 앤날링 시스템보다 현저히 낮으며, 에너지 효율성에서 10,000배 향상된 것으로 예측된다.