[논문 리뷰] L2ight: Enabling On-Chip Learning for Optical Neural Networks via Efficient in-situ Subspace Optimization

Jiaqi Gu, Hanqing Zhu외 4명|arXiv (Cornell University)|2021. 10. 27.

Neural Networks and Reservoir Computing인용 수 7

한 줄 요약

L$^2$ight는 실시간 기울기 평가를 위한 다중 수준 희박한 부분공간 학습을 통해, 현장 캘리브레이션, 분석적 및 제로차수 최적화를 통한 병렬 광학 코어 매핑, 그리고 스케일러블하고 효율적인 차세대 온칩 학습 프레임워크를 제안한다. 이는 이전 방법 대비 3차원 이상의 스케일러비리티와 30배 이상의 효율성 향상을 달성하여, 최초로 백만 파라미터 온칩 ONN 학습을 가능하게 한다.

ABSTRACT

Silicon-photonics-based optical neural network (ONN) is a promising hardware platform that could represent a paradigm shift in efficient AI with its CMOS-compatibility, flexibility, ultra-low execution latency, and high energy efficiency. In-situ training on the online programmable photonic chips is appealing but still encounters challenging issues in on-chip implementability, scalability, and efficiency. In this work, we propose a closed-loop ONN on-chip learning framework L2ight to enable scalable ONN mapping and efficient in-situ learning. L2ight adopts a three-stage learning flow that first calibrates the complicated photonic circuit states under challenging physical constraints, then performs photonic core mapping via combined analytical solving and zeroth-order optimization. A subspace learning procedure with multi-level sparsity is integrated into L2ight to enable in-situ gradient evaluation and fast adaptation, unleashing the power of optics for real on-chip intelligence. Extensive experiments demonstrate our proposed L2ight outperforms prior ONN training protocols with 3-order-of-magnitude higher scalability and over 30X better efficiency, when benchmarked on various models and learning tasks. This synergistic framework is the first scalable on-chip learning solution that pushes this emerging field from intractable to scalable and further to efficient for next-generation self-learnable photonic neural chips. From a co-design perspective, L2ight also provides essential insights for hardware-restricted unitary subspace optimization and efficient sparse training. We open-source our framework at https://github.com/JeremieMelo/L2ight.

연구 동기 및 목표

• 하드웨어 제약과 비이상적인 광학 구성 요소로 인해 발생하는 온칩 학습의 스케일러비리티와 효율성 문제를 해결한다.
• 기울기 평가 및 회로 캘리브레이션의 한계를 극복하여 프ogrammable 광학 칩에서 실시간 현장 학습을 가능하게 한다.
• 장치 변동성과 노이즈에 강건한 대규모 ONN 학습(최대 백만 파라미터 모델)을 지원하는 공동 설계 프레임워크를 개발한다.
• 피드백, 특징, 데이터 샘플링을 포함한 다중 수준 희박성을 통합하여 정확도를 유지하면서도 온칩 학습 에너지와 실행 시간을 줄인다.
• 학습된 부분공간의 이식성과 적응성을 통해 ONN에서 작업 이식과 자기학습이 가능하도록 한다.

제안 방법

• 세 단계 학습 프로세스를 제안한다: (1) 변동성에 영향을 받지 않는 신뢰성 있는 캘리브레이션을 통한 비이상적 광학 상태 안정화, (2) 분석적 해법과 제로차수 최적화를 활용한 병렬 투영 기반 매핑, (3) 현장 기반 기울기 평가를 위한 다중 수준 희박한 부분공간 학습.
• 오직 특이값(Σ)만 학습하고, 매핑 후 유니터리 행렬(U, V*)은 고정하는 제한된 부분공간 최적화를 적용하여 파rameter 공간을 줄이고 온칩 적응을 효율적으로 구현한다.
• 기울기 평가 중 필요한 빛장 측정 수를 줄이기 위해 균형 잡힌 피드백 샘플링을 도입하여 온칩 에너지 비용을 최소화한다.
• 가장 관련성이 높은 광학 경로만 선택적으로 업데이트하기 위해 정보 유지형 열 특징 샘플링을 적용하여 학습 효율성을 향상시킨다.
• 균일하게 하위 샘플링하는 방식으로 런타임 감소형 데이터 샘플링을 적용하여 계산량을 줄이고 정확도 손실를 최소화하며, 동시에 정규화 효과를 발휘한다.
• 피드백, 특징, 데이터의 세 가지 희박성 메커니즘을 통합하여 다양한 작업에서 정확도를 유지하면서도 높은 학습 효율성을 달성한다.

실험 결과

연구 질문

• RQ1 실제 하드웨어 제약 조건 하에서 온칩 학습이 백만 파라미터 모델까지 확장 가능한가?
• RQ2 관측 가능성에 제한이 있는 광학 하드웨어에서 실시간 기울기 평가를 어떻게 효율적이고 에너지 효율적으로 구현할 수 있는가?
• RQ3 회로의 비이상성 존재 하에서 제한된 부분공간 최적화가 모델 학습 가능성과 이식성을 얼마나 유지하는가?
• RQ4 다중 수준 피드백, 특징, 데이터 샘플링에서 효율적인 ONN 학습을 위해 희박성과 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 제안된 프레임워크는 장치 변동성과 노이즈를 실시간으로 보완할 수 있는 강건하고 자기적응형 ONN을 가능하게 하는가?

주요 결과

• L$^2$ight는 이전의 온칩 학습 프로토콜 대비 3차원 이상의 스케일러비리티 향상을 달성하여, 이전 연구에서 약 100~2,500개 파라미터였던 것에 비해 약 1,000만 개 파라미터까지 확장 가능하다.
• 이전의 희박한 학습 방법 대비 30배 이상의 학습 효율성을 확보하였으며, 통합된 데이터 샘플링 덕분에 3배의 속도 향상과 기울기 계산 감소를 경험했다.
• 최적화된 유니터리 기저(U, V*)를 사용한 부분공간 학습은 정확도를 5~6% 향상시키고, 에너지 소비와 학습 단계를 각각 9.9배 감소시켰다.
• 60%의 매핑 정확도 조건에서도 부분공간 학습이 정확도를 약 90%까지 복원함으로써, 비최적의 캘리브레이션과 매핑에 대한 강건성을 입증했다.
• 유전된 유니터리 기저를 활용한 현장 이식 학습은 초기 학습에서보다 1~2% 높은 정확도와 3~5배 적은 학습 단계를 기록하여 강력한 이식성의 가능성을 확인했다.
• 가중치 기울기 계산에서 약 1%의 희박성을 적용해도 정확도 손실가 약 1% 수준에 머무르며, 효율성 향상이 모델 성능에 영향을 주지 않음을 입증했다.