[논문 리뷰] Mixed-Precision 'Memcomputing'

Manuel Le Gallo, Abu Sebastian외 6명|arXiv (Cornell University)|2017. 01. 16.

Neural Networks and Applications인용 수 3

한 줄 요약

이 논문은 고정밀 계산을 위해 에너지 효율적인 저정밀도 메모리 컴퓨팅을 대량 연산에 사용하고, 보다 정밀한 계산을 위해 바나흐-뉴먼 컴퓨팅과 결합한 혼합 정밀도 메모리 컴퓨팅을 제안한다. 959,376개의 상변화 메모리 장치를 사용하여 10,000개 변수를 가진 선형 연립방정식을 정확하게 해결하고, 전사체 데이터로부터 유전자 상호작용 네트워크를 재구성하는 데 응용한다.

ABSTRACT

To process the ever-increasing amounts of data, computing technology has relied upon the laws of Dennard and Moore to scale up the performance of conventional von Neumann machines. As these laws break down due to technological limits, a radical departure from the processor-memory dichotomy is needed to circumvent the limitations of today's computers. 'Memcomputing' is a promising concept in which the physical attributes and state dynamics of nanoscale resistive memory devices are exploited to perform computational tasks with collocated memory and processing. The capability of 'memcomputing' for performing certain logical and arithmetic operations has been demonstrated. However, device variability and non-ideal device characteristics pose technical challenges to reach the numerical accuracy usually required in practice for data analytics and scientific computing. To resolve this, we propose the concept of mixed-precision 'memcomputing' that combines a von Neumann machine with a 'memcomputer' in a hybrid system that benefits from both the high precision of conventional computing and the energy/areal efficacy of 'memcomputing'. Such a system can achieve arbitrarily high computational accuracy with the bulk of the computation realized as low-precision 'memcomputing'. We demonstrate this by addressing the problem of solving systems of linear equations and present experimental results of solving accurately a system of 10,000 equations using 959,376 phase-change memory devices. We also demonstrate a practical application of computing the gene interaction network from RNA expression measurements. These results illustrate that an interconnection of high-precision arithmetic and 'memcomputing' can be used to solve problems at the core of today's computing applications.

연구 동기 및 목표

• 덴너드 및 무어의 법칙이 점점 더 작아지면서 고성능이고 에너지 효율적인 계산의 수요 증가에 대응하기 위해.
• 기기의 변동성과 비이상적 특성으로 인해 발생하는 메모리 컴퓨팅의 수치적 부정확성 한계를 극복하기 위해.
• 바나흐-뉴먼 기계의 정밀도와 메모리 컴퓨팅의 효율성을 결합한 하이브리드 시스템을 개발하기 위해.
• 메모리 컴퓨팅을 데이터 분석 및 과학 계산 응용 분야에 실용적으로 구현하기 위해.
• 저정밀도 메모리 컴퓨팅 구성 요소를 사용하여 대규모 계산 문제를 고정밀도로 해결할 수 있는 가능성을 입증하기 위해.

제안 방법

• 고정밀도 바나흐-뉴먼 프로세서와 저정밀도 메모리 컴퓨팅 시스템을 통합하여 하이브리드 계산을 수행한다.
• 상변화 메모리(PCM) 장치를 사용하여 메모리 컴퓨팅 계층에서 대량의 산술 및 논리 연산을 수행한다.
• 계산적으로 부담이 크지만 정밀도가 낮은 작업을 메모리 컴퓨팅 계층으로 이관하면서도 고정밀도 보정을 통해 정확성을 유지하도록 시스템을 설계한다.
• 저정밀도 메모리 컴퓨팅 연산으로 인해 발생하는 오류를 보정하기 위해 피드백 또는 반복 보정 메커니즘을 구현한다.
• 하이브리드 시스템을 사용하여 선형 방정식의 연립계를 해결하고, 전사체 발현 데이터로부터 유전자 상호작용 네트워크를 추론한다.
• 나노스케일 메모리 장치의 물리적 동역학과 저항 상태를 활용하여 메모리-처리 통합 아키텍처에서 정보를 인코딩하고 처리한다.

실험 결과

연구 질문

• RQ1 메모리 컴퓨팅 시스템 내부의 기기 변동성에도 불구하고 혼합 정밀도 메모리 컴퓨팅이 임의로 높은 계산 정밀도를 달성할 수 있는가?
• RQ2 과학 계산에서 수치 정확도를 희생시키지 않고 메모리 컴퓨팅의 에너지 효율성과 면적 효율성을 어떻게 활용할 수 있는가?
• RQ3 대규모 선형 대수 문제에 저정밀도 메모리 컴퓨팅을 사용할 경우 성능와 정밀도 사이의 상호 교환 관계는 어떠한가?
• RQ4 하이브리드 시스템은 노이즈가 많은 오미크스 데이터로부터 복잡한 생물학적 네트워크를 효과적으로 재구성할 수 있는가?
• RQ5 실세계 데이터 분석 워크로드에 대해 하이브리드 아키텍처의 확장성은 어떠한가?

주요 결과

• 하이브리드 시스템은 959,376개의 상변화 메모리 장치를 사용하여 10,000개의 선형 방정식 연립계를 고정밀도로 성공적으로 해결했다.
• 저정밀도 메모리 컴퓨팅과 고정밀도 바나흐-뉴먼 보정을 조합함으로써 임의로 높은 계산 정밀도를 달성했다.
• 전사체 발현 측정치로부터 유전자 상호작용 네트워크를 계산하는 데 있어 실용적 적용 가능성을 입증했다.
• 하이브리드 정밀도 아키텍처를 통해 기기의 변동성과 비이상적 특성이 효과적으로 완화되었다.
• 기존의 고정밀도 컴퓨팅과 통합된 메모리 컴퓨팅이 실제 계산 워크로드에 확장 가능하다는 것이 결과적으로 확인되었다.
• 수치 정밀도를 훼손하지 않으면서도 데이터 집약적 응용 분야에 대해 에너지 효율성과 면적 효율성을 확보할 수 있는 프레임워크를 제공한다.