[논문 리뷰] Deep physical neural networks enabled by a backpropagation algorithm for arbitrary physical systems

Logan G. Wright, Tatsuhiro Onodera외 5명|arXiv (Cornell University)|2021. 04. 27.

Neural Networks and Reservoir Computing참고 문헌 42인용 수 9

한 줄 요약

이 논문은 백프로파게이션 기반의 물리적 인식 훈련(PAT)을 소개한다. PAT는 광학, 기계, 전기 시스템과 같은 제어 가능한 물리 시스템을 심층 물리 신경망(PNN)으로 직접 훈련시키는 방법이다. 이 방법은 물리 시스템의 내재된 동역학을 활용하여 에너지 효율적이고 고속의 머신러닝을 실현하며, 디지털 시뮬레이션이나 근사적인 유사성에 의존하지 않고 종단 간 훈련을 가능하게 한다.

ABSTRACT

Deep neural networks have become a pervasive tool in science and engineering. However, modern deep neural networks' growing energy requirements now increasingly limit their scaling and broader use. We propose a radical alternative for implementing deep neural network models: Physical Neural Networks. We introduce a hybrid physical-digital algorithm called Physics-Aware Training to efficiently train sequences of controllable physical systems to act as deep neural networks. This method automatically trains the functionality of any sequence of real physical systems, directly, using backpropagation, the same technique used for modern deep neural networks. To illustrate their generality, we demonstrate physical neural networks with three diverse physical systems-optical, mechanical, and electrical. Physical neural networks may facilitate unconventional machine learning hardware that is orders of magnitude faster and more energy efficient than conventional electronic processors.

연구 동기 및 목표

• 기계적, 광학적, 전기적 플랫폼에서의 물리 시스템을 활용하여 전통적인 심층 신경망(DNN)의 에너지 소모와 확장성 한계를 극복한다.
• 디지털 시뮬레이션이나 근사적인 유사성 없이도 물리 시스템을 신경망으로 직접 최적화할 수 있는 훈련 프레임워크를 개발한다.
• 백프로파게이션을 사용하여 광학, 기계, 전기 시스템 등 다양한 물리 시스템을 효과적으로 훈련시킬 수 있음을 입증한다.
• 물리 시스템의 자연스러운 동역학을 계산 원리로 활용하여 고속이고 저에너지의 머신러닝을 실현한다.
• 전자 프로세서보다 속도와 에너지 효율성에서 뛰어난 비전통적 머신러닝 하드웨어의 기반을 마련한다.

제안 방법

• 백프로파게이션을 직접 물리 시스템에 적용하여 제어 가능한 매개변수를 훈련하는 하이브리드 물리-디지털 알고리즘인 물리적 인식 훈련(PAT)을 제안한다.
• 입력 데이터와 훈련 가능한 매개변수를 물리 시스템의 초기 조건과 제어 변수(예: 힘 프로파일, 광학 펄스 진폭, 아날로그 전압 등)로 인코딩한다.
• 손실 함수에 대한 물리적 매개변수의 기울기를 계산하기 위해 가분성 있는 물리 시뮬레이션을 사용하여 실제 물리적 동역학을 통해 종단 간 백프로파게이션을 가능하게 한다.
• 복잡하거나 비선형적인 동역학을 가진 시스템에도 디지털 DNN에서 사용하는 것과 동일한 백프로파게이션 원리를 적용하여 훈련한다.
• 비이상적인 요소(노이즈, 비선형성, 장치 변동 등)가 존재하더라도 물리 시스템의 진화를 모델링하고 기울기를 계산할 수 있는 가분성 있는 시뮬레이션 프레임워크를 활용한다.
• 다중 물리층을 연결하여 각 층이 제어 가능하고 가분성 있는 변환을 수행하는 심층 PNN을 구성한다. 이는 신경망 층과 유사한 기능을 수행한다.

실험 결과

연구 질문

• RQ1 디지털 시뮬레이션에 의존하지 않고 실제 물리 시스템을 심층 신경망으로 직접 백프로파게이션으로 훈련시킬 수 있는가?
• RQ2 복잡하고 비선형적인 동역학을 가진 물리 시스템이 심층 신경망과 유사한 계층적 계산을 수행하도록 훈련될 수 있는가?
• RQ3 물리 신경망(PNN)이 기존 전자 DNN에 비해 어느 정도 에너지 소모와 속도에서 우월한가?
• RQ4 PNN이 광학, 기계, 전자 플랫폼 등 다양한 물리 플랫폼으로 일반화될 수 있는가?
• RQ5 노이즈, 비선형성, 장치 변동 등의 물리적 불완전성 존재하에서도 강력한 학습을 가능하게 하는 훈련 방법은 무엇인가?

주요 결과

• 물리적 인식 훈련(PAT)은 광학, 기계, 전기 플랫폼을 포함한 임의의 물리 시스템을 통해 종단 간 백프로파게이션을 성공적으로 수행한다.
• 이전의 접근 방식의 한계를 극복하기 위해 디지털 에뮬레이션이나 근사적인 수학적 유사성이 필요 없이 물리 시스템을 직접 훈련시킬 수 있다.
• 비선형 광학에서의 제2차 하모닉 생성(SHG)을 기반으로 한 PNN은 복잡한 매핑을 효과적으로 학습하여 실제 물리 시스템에서 접근의 타당성을 입증했다.
• 이sovated 금속판과 마이크로폰을 사용한 기계적 PNN은 다중 모드 진동 패턴을 통해 입력 패턴을 분류하는 데 성공했다.
• 아날로그 회로를 사용한 전자적 PNN은 훈련 가능한 비선형 변환을 실현하여 기존 전자 하드웨어에서의 구현 가능성을 보였다.
• 장치 내부의 매개변수 저장 및 다차원 레이아웃 설계 전략을 통해 PNN의 훈련에 추가적인 에너지 소모를 최소화할 수 있었으며, 이는 확장성 확보에 기여했다.