[논문 리뷰] Physical Deep Learning with Biologically Plausible Training Method

M. Nakajima, Katsuma Inoue외 4명|arXiv (Cornell University)|2022. 04. 01.

Neural Networks and Reservoir Computing인용 수 4

한 줄 요약

이 논문은 직접 피드백 정렬과 무작위 투영을 사용하여 물리적 딥 네ural 네트워크의 생물학적으로 타당한 학습 방법을 제안한다. 이는 백프로파게이션 없이 엔드 투 엔드 학습을 가능하게 하며, 옵토일렉트로닉 리커런트 네트워크에서 검증되었으며, FPGA 기반 데스크톱 시스템에서 가속화된 계산을 달성한다.

ABSTRACT

The ever-growing demand for further advances in artificial intelligence motivated research on unconventional computation based on analog physical devices. While such computation devices mimic brain-inspired analog information processing, learning procedures still relies on methods optimized for digital processing such as backpropagation. Here, we present physical deep learning by extending a biologically plausible training algorithm called direct feedback alignment. As the proposed method is based on random projection with arbitrary nonlinear activation, we can train a physical neural network without knowledge about the physical system. In addition, we can emulate and accelerate the computation for this training on a simple and scalable physical system. We demonstrate the proof-of-concept using a hierarchically connected optoelectronic recurrent neural network called deep reservoir computer. By constructing an FPGA-assisted optoelectronic benchtop, we confirmed the potential for accelerated computation with competitive performance on benchmarks. Our results provide practical solutions for the training and acceleration of neuromorphic computation.

연구 동기 및 목표

• 백프로파게이션을 피하는 생물학적으로 타당한 물리적 신경망 학습 방법을 개발한다.
• 물리적 시스템의 내부 역학에 대한 정밀한 지식 없이도 학습이 가능하게 한다.
• 무작위 투영과 임의의 비선형성을 활용하여 확장 가능하고 효율적인 학습을 실현한다.
• 간단하고 확장 가능한 물리적 시스템을 모방하여 물리적 딥 러닝의 학습 과정을 가속화한다.
• 실제 옵토일렉트로닉 리커런트 신경망 플랫폼에서 접근법을 검증한다.

제안 방법

• 방법은 직접 피드백 정렬(DFA)을 물리적 신경망으로 확장하여, 오차 신호를 근사하기 위해 무작위 투영을 사용한다.
• 백프로파게이션 없이도 엔드 투 엔드 학습이 가능하게 하며, 오직 무작위 가중치 행렬과 비선형 활성화 함수에 의존한다.
• 학습 과정이 물리적 시스템의 내부 구조와 독립적이게 설계되어, 다양한 아날로그 장치에 적용 가능하다.
• 이 프레임워크는 옵토일렉트로닉 리저보아 커퍼트와 같은 확장 가능한 물리적 시스템에서 학습 과정을 모의 구현할 수 있다.
• FPGA를 활용한 옵토일렉트로닉 데스크톱 시스템을 사용하여 하드웨어에서 방법을 구현하고 검증한다.
• 이 접근법은 계층적 연결성을 지원하며, 시스템의 물리적 동역학을 계산에 활용한다.

실험 결과

연구 질문

• RQ1 직접 피드백 정렬은 백프로파게이션 없이 물리적 딥 네ural 네트워크를 학습하는 데 적응 가능할 수 있는가?
• RQ2 무작위 투영은 내부 역학이 알려지지 않은 물리적 시스템에서 효과적인 오차 신호 근사를 가능하게 할 수 있는가?
• RQ3 이 학습 방법은 실제 옵토일렉트로닉 하드웨어 플랫폼에서 구현되고 가속화될 수 있는가?
• RQ4 제안된 방법은 물리적 계산을 사용하여 표준 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 학습 과정은 확장 가능한 물리적 시스템에서 효율적으로 모의 구현될 수 있는가?

주요 결과

• 제안된 방법은 백프로파게이션 없이 생물학적으로 타당한 학습 규칙을 사용하여 물리적 딥 네ural 네트워크를 성공적으로 학습시켰다.
• FPGA 기반 데스크톱 시스템에서 옵토일렉트로닉 리커런트 네트워크를 사용하여 표준 작업에서 경쟁 가능한 성능을 달성했다.
• 학습 과정은 확장 가능하며, 물리적 시스템의 내부 역학에 대한 정밀한 지식이 필요하지 않다.
• 무작위 투영은 효과적인 오차 신호 근사를 가능하게 하여, 물리적 시스템에서 안정적이고 효율적인 학습을 지원한다.
• 시스템은 가속화된 계산을 보여주며, 생물학적으로 타당한 학습을 통한 물리적 딥 러닝의 실현 가능성을 확인했다.
• 이 방법은 단순하고 확장 가능한 물리적 플랫폼에서 학습 과정의 모의 및 하드웨어 가속화를 가능하게 한다.