[논문 리뷰] Precise neural network computation with imprecise analog devices

Jonathan Binas, Daniel Neil외 3명|arXiv (Cornell University)|2016. 06. 23.

Neural Networks and Applications참고 문헌 41인용 수 10

한 줄 요약

이 논문은 측정된 하드웨어 변동성을 학습 중 제약 조건으로 통합함으로써 아날로그 VLSI 회로의 장치 불일치를 보완할 수 있는 프레임워크를 제안한다. 이 방법은 저전력, 소형 아날로그 회로를 사용해 정밀한 신경망 추론을 가능하게 하며, 이상적인 디지털 구현과 유사한 성능를 달성하면서도 전력 소비를 줄인다.

ABSTRACT

The operations used for neural network computation map favorably onto simple analog circuits, which outshine their digital counterparts in terms of compactness and efficiency. Nevertheless, such implementations have been largely supplanted by digital designs, partly because of device mismatch effects due to material and fabrication imperfections. We propose a framework that exploits the power of deep learning to compensate for this mismatch by incorporating the measured device variations as constraints in the neural network training process. This eliminates the need for mismatch minimization strategies and allows circuit complexity and power-consumption to be reduced to a minimum. Our results, based on large-scale simulations as well as a prototype VLSI chip implementation indicate a processing efficiency comparable to current state-of-art digital implementations. This method is suitable for future technology based on nanodevices with large variability, such as memristive arrays.

연구 동기 및 목표

• 면적과 전력 효율성의 이점이 있음에도 불구하고 장기간에 걸쳐 보급이 제한되어 온 아날로그 VLSI 회로의 장치 불일치 문제를 해결한다.
• 신경망 학습 중 측정된 장치 특성을 활용하여 아날로그 하드웨어에서 고정밀도 추론을 가능하게 한다.
• 과도한 트랜지스터 사용과 같은 전통적인 불일치 최소화 기법을 피하여 회로 복잡성과 전력 소비를 감소시킨다.
• 대규모 시뮬레이션과 실시간 분류를 위한 180 nm CMOS VLSI 프로토타입 제작을 통해 실현 가능성을 입증한다.
• 에지 장치 및 에너지 제약이 있는 애플리케이션에 적합한 확장 가능한 초저전력 아날로그 신경망 프로세서의 길을 열다.

제안 방법

• 제어된 입력 자극과 출력 기록을 사용하여 제작된 VLSI 칩에서 개별 아날로그 뉴런의 전달 특성을 측정한다.
• 측정된 장치 응답 곡선을 네트워크 가중치와 회로 파라미터의 공동 학습 과정에서의 제약 조건으로 사용한다.
• 실제 장치 행동을 기반으로 사전 학습을 수행하여 특정 하드웨어 변동성에 맞는 구성 파라미터를 생성한다.
• 최적화된 네트워크 파라미터를 물리적 아날로그 회로로 다시 매핑하여 완전히 하드웨어 설정된 신경망을 구현한다.
• 기본 연산(예: 배선 연결을 통한 덧셈, 이중 트랜지스터 구성으로 인한 곱셈)을 수행하는 소형 저전력 아날로그 회로 설계를 활용한다.
• 행동 시뮬레이션과 피드백 루프가 구현된 VLSI 프로토타입을 통해 프레임워크를 검증하며, 실제 장치 측정값을 사용해 네트워크를 학습하고 테스트한다.

실험 결과

연구 질문

• RQ1 하드웨어 균일성이 필요 없이 딥러닝을 활용해 아날로그 VLSI 신경망 구현에서의 장치 불일치를 보완할 수 있는가?
• RQ2 아날로그 VLSI 회로가 더 낮은 전력과 면적 소비로 이상적인 디지털 구현과 유사한 성능를 달성할 수 있는 정도는 어느 정도인가?
• RQ3 학습 중 측정된 하드웨어 응답 곡선을 통합할 경우 실제 아날로그 시스템에서 분류 정확도와 내성에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크를 메모리스티브 어레이나 나노스케일 장치와 같이 높은 변동성이 있는 다른 기반 재료로 확장할 수 있는가?
• RQ5 수렴 시간 변동성이 에너지 효율성에 미치는 영향은 무엇이며, 적응형 입력 전류 제어를 통해 이를 완화할 수 있는가?

주요 결과

• 측정된 장치 특성과 하드웨어 최적화된 학습을 통해 아날로그 VLSI 구현이 아이ris 꽃 데이터셋에서 100% 분류 정확도를 달성했다.
• MNIST 데이터셋에서 시뮬레이션된 아날로그 회로는 98.0%의 정확도를 기록하여 이상적인 디지털 네트워크의 성능를 정확히 재현했다.
• 아날로그 구현의 에너지 효율성은 7.97 TOp/J에 도달하여 디지털 기준 6.39 TOp/J를 능가했다.
• 대규모 SPICE 시뮬레이션을 통해 테스트 데이터의 부분 집합을 사용할 경우에도 훈련된 아날로그 네트워크가 높은 정확도(94.6%)를 유지함을 확인했다.
• 이 프레임워크는 완전히 병렬화된, 메모리와 처리가 동일 위치에 배치된 아키텍처를 가능하게 하여 신경망 추론에서 바나우먼 브로드락을 제거했다.
• 이 방법은 확장 가능하며, 향후 메모리스티브 및 나노스케일 장치와 같은 높은 제조 유도 변동성이 있는 다른 가변 정밀도 기반 재료로도 적용 가능하다.