[논문 리뷰] Towards Trainable Media: Using Waves for Neural Network-Style Training

Michiel Hermans, Thomas Van Vaerenbergh|arXiv (Cornell University)|2015. 09. 30.

Neural Networks and Reservoir Computing참고 문헌 30인용 수 4

한 줄 요약

이 논문은 파동 간 간섭을 이용해 신경망 방식의 역전파를 수행하는 새로운 학습 가능한 광학 매질을 제안한다. 이는 전방파와 오차파의 곱셈을 통해 국소적, 기울기 기반 가중치 갱신을 가능하게 하며, 비균일한 손실 조건에서도 낮은 오차(NRMSE ≈ 0.0015)로 행렬-벡터 곱셈을 수행할 수 있음을 시뮬레이션을 통해 입증한다. 이는 확장 가능하고 저전력인 AI 가속기 구현 가능성을 시사한다.

ABSTRACT

In this paper we study the concept of using the interaction between waves and a trainable medium in order to construct a matrix-vector multiplier. In particular we study such a device in the context of the backpropagation algorithm, which is commonly used for training neural networks. Here, the weights of the connections between neurons are trained by multiplying a `forward' signal with a backwards propagating `error' signal. We show that this concept can be extended to trainable media, where the gradient for the local wave number is given by multiplying signal waves and error waves. We provide a numerical example of such a system with waves traveling freely in a trainable medium, and we discuss a potential way to build such a device in an integrated photonics chip.

연구 동기 및 목표

• 파동 상호작용을 통해 기울기를 계산하는 물리적 매체를 개발하여 신경망 학습을 모방한다.
• 학습 가능한 매질 내에서 파동 전파를 이용해 국소적, 이방향 행렬-벡터 곱셈을 가능하게 한다.
• 디지털 계산 없이도 파동 기반 시스템이 역전파 유사 학습을 수행할 수 있음을 입증한다.
• 실제 손실과 노이즈 조건 하에서 이러한 시스템을 통합 광학 칩에 구현할 수 있는 가능성을 탐색한다.
• 비균일한 손실과 측정 노이즈가 학습 과정과 수렴에 미치는 영향을 평가한다.

제안 방법

• 신호파와 오차파의 전방 및 후방 전파를 사용하여, 기울기를 계산하기 위해 신호파와 오차파의 곱셈을 시뮬레이션하는 역전파 알고리즘을 구현한다.
• 지역적 파동 수를 전방파 및 오차파 진폭의 곱에 기반해 조정하는 물리적 기울기 하강 방법을 적용한다.
• 파라미터 조절이 가능한 위상 시프터를 갖춘 나노광학 칩을 모델링하여, 학습 가능한 선형 변환을 가능하게 한다.
• 전방파 및 오차파 강도의 측정된 곱에 기반해 위상 시프터를 갱신하는 학습 규칙을 적용한다.
• 비균일한 감쇠를 고려한 70층의 위상 시프터 어레이를 통과하는 파동 전파를 시뮬레이션한다.
• 정규화 없이 국소적 학습 규칙을 적용하며, 고정 또는 선형 감쇠하는 학습률을 사용해 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 물리적 매질 내에서의 파동 간섭을 이용해 역전파 유사 학습을 구현할 수 있는가?
• RQ2 비균일한 광학적 손실은 파동 기반 학습 가능한 매질의 학습 성능에 어떤 영향을 미치는가?
• RQ3 국소적 물리적 기울기 하강 메커니즘이 광학 칩 내에서 정확한 행렬-벡터 곱셈을 달성할 수 있는가?
• RQ4 측정 노이즈와 저전력 검출의 학습 과정에 미치는 영향은 무엇인가?
• RQ5 현재의 나노광학 구성 요소로도 실질적 손실 조건 하에서 얼마나 높은 확장성을 달성할 수 있는가?

주요 결과

• 비균일한 손실 조건 하에서도 시스템은 NRMSE 약 0.007로 행렬-벡터 곱셈을 성공적으로 학습하며, 학습률을 선형 감쇠할 경우 NRMSE가 0.0015로 향상된다.
• 70개의 위상 시프터 어레이를 통과할 때 99%의 전력 손실 조건에서도 학습 과정이 안정적으로 수렴함을 확인하여 고손실 조건에 대한 강건성을 입증한다.
• 최종 위상 시프터 값은 좁은 범위(±2π/10) 내에 집중되어 있어, 전체 2π 위상 조절 능력이 효과적 학습을 위해 반드시 필요하지 않음을 시사한다.
• 학습률을 시간이 지남에 따라 감소시키면 수렴성이 크게 향상되며, 고정 학습률 대비 NRMSE가 10배 감소한다.
• 비균일한 손실은 NRMSE에 하한을 설정하지만, 학습 과정 자체는 이에 의해 심각하게 손상되지 않는다.
• 저전력 측정 조건에서도 방법이 효과적으로 유지되며, 통신 응용 분야보다 훨씬 낮은 측정 빈도로도 충분히 작동한다.