[논문 리뷰] Self-learning Machines based on Hamiltonian Echo Backpropagation

Víctor López-Pastor, Florian Marquardt|Figshare|2021. 03. 08.

Neural Networks and Applications참고 문헌 80인용 수 4

한 줄 요약

이 논문은 시간 반전 대칭성을 활용하고 작은 오차 신호를 주입하여 자율적 기울기 업데이트를 유도함으로써, 시간 반전 가능 힘의 법칙을 따르는 해밀토니안 시스템에서 자기학습 기계를 훈련시키는 일반적인 방법인 해밀토니안 에코 역전파(HEB)를 소개한다. 이 방법은 외부 피드백이나 디지털 처리 없이도 효율적이고 완전히 물리적인 역전파를 가능하게 하며, 비선형 파동 장과 기타 시스템에서 견고한 훈련을 보여준다.

ABSTRACT

A physical self-learning machine can be defined as a nonlinear dynamical system that can be trained on data (similar to artificial neural networks), but where the update of the internal degrees of freedom that serve as learnable parameters happens autonomously. In this way, neither external processing and feedback nor knowledge of (and control of) these internal degrees of freedom is required. We introduce a general scheme for self-learning in any time-reversible Hamiltonian system. We illustrate the training of such a self-learning machine numerically for the case of coupled nonlinear wave fields.

연구 동기 및 목표

• 외부 피드백이나 디지털 처리 없이도 구현 가능한 일반적인 자기학습 기계 훈련 방법을 개발하는 것.
• 기존의 광학적 및 뉴로모픽 학습 시스템의 한계를 극복하여 내재된 물리적 동역학을 통해 기울기 하강을 실현하는 것.
• 특정 비선형성이나 시스템 세부 사항에 관계없이 어떤 시간 반전 가능 해밀토니안 시스템도 HEB를 통해 훈련시킬 수 있음을 보여주는 것.
• 대칭 해밀토니안의 디지그리티 상태에 매개변수를 저장함으로써 안정적인 매개변수 학습을 가능하게 하고, 작은 교란에 대해 강건성을 확보하는 것.
• 연속적 및 이산적 학습 매개변수 모두에 적용 가능하게 하며, 이산 최적화에 대한 열역학적 냉각과의 유사성도 제시하는 것.

제안 방법

• 이 방법은 시간 반전 대칭성에 의존한다: 정방향 전파 이후 시스템의 동역학을 시간 반전한 에코가 이어진다.
• 에코 단계 동안 작은 오차 신호를 주입하여 시간 반전 대칭성을 깨고 물리적 기울기 신호를 생성한다.
• 결과적으로 발생하는 동역학은 물리적 역전파 메커니즘을 통해 자연스럽게 학습 가능한 매개변수를 업데이트하며, 확률적 기울기 하강을 모방한다.
• 이 접근법은 특정 비선형 요소나 시스템 내부 매개변수의 정밀한 제어가 필요하지 않아 일반적이다.
• 학습 매개변수는 해밀토니안의 연속적 또는 이산적 대칭성에 의해 표현되며, 예를 들어 매개변수에 따라 변화하는 진폭 또는 위상 차이를 가진 진동자에서 나타난다.
• 작은 교란이 학습된 구성 상태를 불안정하게 하지 않는, 디지그리티 상태 다각형에 매개변수를 저장함으로써 안정성이 향상된다.

Figure 1: Different types of physical learning machines. (a) Physical learning machine requiring feedback based on the outcome, to tune the internal "learning" parameters $\theta$ inside the physical device. (b) A self-learning machine does not involve feedback. It updates the learning parameters in

실험 결과

연구 질문

• RQ1 외부 피드백이나 디지털 계산 없이도 내재된 물리적 동역학만으로 자기학습 기계를 훈련시킬 수 있는가?
• RQ2 시간 반전 가능 해밀토니안 시스템에서 기울기 하강을 어떻게 물리적으로 실현할 수 있는가?
• RQ3 시간 반전 대칭성이 자율적 매개변수 업데이트를 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 내재된 대칭성을 가진 물리적 시스템에서 학습 매개변수를 어떻게 안정적으로 저장할 수 있는가?
• RQ5 이 방법은 연속적 및 이산적 매개변수 공간 모두에 적용 가능하며, 열역학적 냉각과는 어떻게 관련이 있는가?

주요 결과

• 해밀토니안 에코 역전파(HEB)는 내부 매개변수에 대한 지식이나 제어 없이도 어떤 시간 반전 가능 해밀토니안 시스템에서도 자기학습 기계의 자율적 훈련을 가능하게 한다.
• 작은 오차 신호를 시간 반전 에코 단계에 주입함으로써 물리적 기울기 하강을 실현하고, 시스템의 자연스러운 동역학을 통해 매개변수 업데이트를 유도한다.
• 수치 시뮬레이션은 결합된 비선형 파동 장에서 성공적인 훈련을 보여주며, 이는 방법의 타당성과 효율성을 확인한다.
• 학습 매개변수가 대칭 해밀토니안의 디지그리티 상태 다각형에 저장될 경우 안정적인 매개변수 저장이 가능하며, 이는 작은 교란에 대해 강건하다.
• 학습 과정을 열역학적 냉각으로 해석함으로써 이산 매개변수에 대한 적용이 가능해지며, 시스템은 효과적 해밀토니안의 국소 최소값으로 수렴한다.
• 이 방법은 특정 시스템 세부 사항(비선형성, 기하 배열 등)에 의존하지 않아 일반적이며, 광학 및 매개변수 진동자와 같은 다양한 물리 플랫폼에 적용 가능하다.

Figure 2: Overview: The landscape of physical learning machines. Our work falls into the broad class of optimization approaches. It belongs to the small class of works that involve both physical backpropagation and self-learning, but in contrast to other approaches our scheme is universal, i.e. inde