[논문 리뷰] Agnostic Physics-Driven Deep Learning

Benjamin Scellier, Siddhartha Mishra외 2명|arXiv (Cornell University)|2022. 05. 30.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 해석적 에너지 함수나 명시적 기울기 계산이 필요 없이 물리 시스템에서 경사 하강법을 수행할 수 있도록 하는 물리 기반 학습 프레임워크인 아그노스틱 에너지 전파(Æqprop)를 소개한다. 모델 파라미터를 시스템 에너지를 최소화하는 동적 변수로 간주하고, 낮은 영향력(노킹)을 통해 파라미터 업데이트를 유도함으로써 Æqprop는 물리적 동역학을 통해 진정한 일阶 최적화를 실현하며, 생물학적 및 아날로그 시스템에서 효율적이고 하드웨어에 종속되지 않는 기계 학습을 가능하게 한다.

ABSTRACT

This work establishes that a physical system can perform statistical learning without gradient computations, via an Agnostic Equilibrium Propagation (Aeqprop) procedure that combines energy minimization, homeostatic control, and nudging towards the correct response. In Aeqprop, the specifics of the system do not have to be known: the procedure is based only on external manipulations, and produces a stochastic gradient descent without explicit gradient computations. Thanks to nudging, the system performs a true, order-one gradient step for each training sample, in contrast with order-zero methods like reinforcement or evolutionary strategies, which rely on trial and error. This procedure considerably widens the range of potential hardware for statistical learning to any system with enough controllable parameters, even if the details of the system are poorly known. Aeqprop also establishes that in natural (bio)physical systems, genuine gradient-based statistical learning may result from generic, relatively simple mechanisms, without backpropagation and its requirement for analytic knowledge of partial derivatives.

연구 동기 및 목표

• 에너지 함수의 도함수 및 파라미터 업데이트 메커니즘에 대한 명시적 지식이 필요로 하는 기존 물리 학습 방법의 한계를 극복하기 위해.
• 내부 역학이 잘 이해되지 않거나 알려져 있지 않은 물리 시스템에서 기울기 기반 학습을 가능하게 하기 위해.
• 학습 중에 중간 평형 상태를 저장할 필요가 없도록 하여, 물리적 구현에서 주요 성능 저하 요인을 제거하기 위해.
• 단순한 물리적 메커니즘인 에너지 최소화와 낮은 영향력이 진정한 일阶 최적화(스티어티컬 기울기 하강법과 동치)를 유도할 수 있음을 보여주기 위해.
• 학습이 본질적으로 하드웨어에 종속되지 않는 프레임워크를 구축하여, 충분한 자유도를 갖춘 어떤 제어 가능한 물리 시스템에도 적용 가능하도록 하기 위해.

제안 방법

• 학습 가능한 파라미터를 상태 변수와 마찬가지로 시스템의 에너지 함수를 최소화하는 부동 변수로 간주한다.
• 첫 번째 단계 동안 제어 노브를 사용해 파라미터를 현재 값으로 유지함으로써 안정적인 초기화를 보장한다.
• 두 번째 단계에서 출력 에너지 함수에 작은 외부 자극(노킹)을 가하여 시스템이 원하는 반응으로 유도되도록 한다.
• 노킹에 의한 평형 상태의 변화에서 파라미터 업데이트를 유도하며, 이 변화가 진정한 기울기 단계에 해당함을 보여준다.
• 수렴성과 안정성을 보장하기 위해 리아푸노프 함수를 사용하며, 큰 스텝 크기 조건에서도 손실 감소에 대한 이론적 보장을 제공한다.
• 명시적 기울기 계산이나 편미분의 분석적 지식이 아닌, 외부 조작(입력, 제어 노브, 노킹)에만 의존한다.

실험 결과

연구 질문

• RQ1 에너지 함수의 해석적 형태나 명시적 기울기 계산 없이도 물리 시스템에서 경사 하강법을 달성할 수 있는가?
• RQ2 외부 디지털 제어나 비버니시브 메모리에 의존하지 않고도 물리적 동역학을 통해 파라미터 업데이트를 직접 유도할 수 있는가?
• RQ3 제안된 방법은 특히 큰 스텝 크기 조건에서 표준 스토하스틱 기울기 하강법보다 더 강력한 수렴 보장을 제공하는가?
• RQ4 학습 과정이 물리 법칙에 완전히 통합되어 하드웨어에 종속되지 않는 기계 학습이 가능할 수 있는가?
• RQ5 백프로파게이션이나 명시적 도함수 계산 없이 에너지 최소화와 낮은 영향력만으로도 물리 시스템에서 일阶 최적화를 달성할 수 있는가?

주요 결과

• Æqprop는 명시적 기울기 계산 없이도 훈련 샘플당 한 번의 스토하스틱 기울기 하강법 단계를 물리적 동역학을 통해 실현한다.
• 이 방법은 에너지 함수의 해석적 형태에 관계없이, 외부 제어 및 시스템 상태 관측만으로도 작동한다.
• Æqprop에서의 파라미터 업데이트는 정리 1에서 증명된 바와 같이 손실 함수에 대해 진정한 기울기 단계에 정확히 해당한다.
• Æqprop의 페시즘틱 변형은 큰 학습률 조건에서도 손실 함수의 날카운 감소 경계를 보장한다.
• 이전의 Eqprop 기반 접근법에서의 주요 제약 요소인 첫 번째 평형 상태 저장이 필요 없어지며, 이는 핵심적인 성능 향상이다.
• Æqprop는 파라미터가 사전 정의되거나 저장되지 않은 시스템, 예를 들어 아날로그 또는 생물학적 하드웨어에서의 엔드 투 엔드 물리적 학습을 가능하게 한다.