[논문 리뷰] Noise-injected analog Ising machines enable ultrafast statistical sampling and machine learning

Fabian Böhm, Diego Alonso-Urquijo외 2명|arXiv (Cornell University)|2021. 12. 21.

Advanced Memory and Neural Computing참고 문헌 55인용 수 40

한 줄 요약

이 논문은 아날로그 이징 기계의 고유한 열적 평형에 도달하지 못하는 문제를 극복하기 위해 초고속 이징 샘플링을 가능하게 하는 일반적인 노이즈 주입 기법을 제안한다. 시간 다중화된 광전자 이징 기계에 광대역 노이즈를 주입함으로써, 저자들은 보틀츠만 분포의 정확한 샘플링과 소프트웨어 기반 방법과 동등한 성능을 보이는 제한 없는 이징 기계의 비지도 학습을 실험적으로 구현하였다. 이로써 샘플링 속도는 최대 GSamples/s에 이를 수 있었으며, 기존의 방법들에 비해 수 개의 주기수 빠른 성능을 달성하였다.

ABSTRACT

Ising machines are a promising non-von-Neumann computational concept for neural network training and combinatorial optimization. However, while various neural networks can be implemented with Ising machines, their inability to perform fast statistical sampling makes them inefficient for training neural networks compared to digital computers. Here, we introduce a universal concept to achieve ultrafast statistical sampling with analog Ising machines by injecting noise. With an opto-electronic Ising machine, we experimentally demonstrate that this can be used for accurate sampling of Boltzmann distributions and for unsupervised training of neural networks, with equal accuracy as software-based training. Through simulations, we find that Ising machines can perform statistical sampling orders-of-magnitudes faster than software-based methods. This enables the use of Ising machines beyond combinatorial optimization and makes them into efficient tools for machine learning and other applications.

연구 동기 및 목표

• 아날로그 이징 기계가 기계 학습 응용에서 사용되는 데 걸림돌이 되는 빠르고 정확한 보틀츠만 샘플링을 수행하는 데에 있어 극복할 수 없는 한계를 해결하기 위해.
• 복잡한 온도 제어 없이도 아날로그 이징 시스템에 열적 평형을 유도할 수 있는 보편적이고 하드웨어에 종속되지 않는 방법을 개발하기 위해.
• 노이즈 주입 이징 기계가 소프트웨어 기반 학습과 동등한 비지도 학습 정확도를 달성할 수 있음을 입증하기 위해.
• 수치 시뮬레이션을 통해 아날로그 이징 기계가 소프트웨어 기반 방법에 비해 샘플링 속도에서 어떤 정도의 우수성을 보이는지 정량화하기 위해.
• 다양한 유형의 증폭-소산 시스템에서 이 방법이 성립함을 입증함으로써 그 보편성을 입증하기 위해.

제안 방법

• 시간 다중화된 광전자 이징 기계에 광대역 가우시안 백색 노이즈를 주입하여, 제어 가능한 효과적 온도에서 시스템이 열적 평형 상태에 도달하도록 유도하기 위해.
• 현장 프로그래머블 게이트 어레이(FPGA)를 사용한 피드백 루프를 통해 커플링 가중치와 바이어스를 동적으로 제어함으로써, 이징 해밀토니안의 실시간 재구성 가능성을 확보하기 위해.
• 비선형 광학 시스템에서 발생하는 피치포크 분기 현상을 통해 이진 이징 스핀을 연속적인 아날로그 진폭으로 매핑하고, 스핀 상태는 진폭의 부호에 의해 결정되도록 하기 위해.
• 샘플링 정확도 평가의 기준으로 메트로폴리스-해스팅스 알고리즘을 사용하여, 노이즈 주입 이징 기계가 생성한 샘플과 비교하기 위해.
• 다양한 증폭-소산 시스템(다항식, 잘라내기, 시그모이드 비선형성)을 시뮬레이션하여, 노이즈 주입 기법이 다양한 물리적 실현 방식에 걸쳐 보편적으로 적용 가능한지 테스트하기 위해.
• 비지도 학습 성능 평가를 위해 의사우도와 예측 정확도를 사용하여, MNIST 숫자 인식 작업에서의 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 노이즈 주입이 이질적인 지구상에서 지속적으로 기저 상태 계산에 국한된 아날로그 이징 기계에서 정확한 보틀츠만 샘플링을 가능하게 할 수 있는가?
• RQ2 주입된 노이즈 분산과 이징 시스템의 효과적 온도 사이의 관계는 무엇인가?
• RQ3 노이즈 주입 이징 기계가 실제 기계 학습 과제에서 소프트웨어 기반 방법과 동등한 비지도 학습 정확도를 달성할 수 있는가?
• RQ4 노이즈 주입 이징 기계의 샘플링 속도는 소프트웨어 기반 샘플링 방법에 비해 어떻게 비교되는가?
• RQ5 노이즈 주입 방법은 다양한 유형의 증폭-소산 물리 시스템에 보편적으로 적용 가능한가?

주요 결과

• 노이즈 주입 광전자 이징 기계는 임계 상전이 지점 근처를 포함한 넓은 온도 범위에서 메트로폴리스-해스팅스 알고리즘과 동등한 보틀츠만 샘플링 정확도를 달성하였다.
• 이징 시스템의 효과적 온도는 주입된 노이즈 분산에 선형적으로 비례하여, 샘플링 분포에 대한 정밀한 제어가 가능함을 입증하였다.
• 노이즈 주입 샘플링을 사용한 제한 없는 이징 기계의 비지도 학습은 테스트 예측 정확도가 다항식 기반 93.8%, 잘라내기 기반 95.3%, 시그모이드 기반 94.4%로, 소프트웨어 기반 학습과 동등한 성능을 보였다.
• 수치 시뮬레이션 결과, 공간 다중화 아날로그 이징 기계는 일반 소자만으로도 최대 GSamples/s의 샘플링 속도를 달성할 수 있으며, 이는 소프트웨어 기반 방법에 비해 몇 개의 주기수 빠른 성능 향상을 의미한다.
• 노이즈 주입 방법은 다항식, 잘라내기, 시그모이드 비선형성 등 세 가지의 서로 다른 증폭-소산 시스템에서 성공적으로 검증되었으며, 그 보편성을 입증하였다.
• 이 방법은 아날로그 이징 기계가 조합 최적화에 국한된 도구에서 일반 목적의 기계 학습 및 통계적 샘플링 플랫폼으로 전환할 수 있도록 가능하게 하였다.