[논문 리뷰] Energy-based learning algorithms for analog computing: a comparative study

Benjamin Scellier, Maxence Ernoult외 2명|arXiv (Cornell University)|2023. 12. 22.

Advanced Memory and Neural Computing인용 수 7

한 줄 요약

이 논문은 다섯 가지 시각 작업에서 깊이 있는 컨volution형 호프리드 네트워크(DCHNs)에 대해 에너지 기반 학습(EBL) 알고리즘 일곱 종류—대비 학습(CL), 평형 전파(EP), 및 다양한 편향 기호를 가진 결합 학습(CpL)—을 종합적으로 비교한다. 음수 편향이 양수 편향보다 우수하며, 특히 작업 난이도가 증가함에 따라 중심형 EP(C-EP)가 가장 뛰어난 성능을 보이며, 이는 异步 에너지 최소화와 16비트 정밀도를 통해 13.5배의 속도 향상을 이룬다.

ABSTRACT

Energy-based learning algorithms have recently gained a surge of interest due to their compatibility with analog (post-digital) hardware. Existing algorithms include contrastive learning (CL), equilibrium propagation (EP) and coupled learning (CpL), all consisting in contrasting two states, and differing in the type of perturbation used to obtain the second state from the first one. However, these algorithms have never been explicitly compared on equal footing with same models and datasets, making it difficult to assess their scalability and decide which one to select in practice. In this work, we carry out a comparison of seven learning algorithms, namely CL and different variants of EP and CpL depending on the signs of the perturbations. Specifically, using these learning algorithms, we train deep convolutional Hopfield networks (DCHNs) on five vision tasks (MNIST, F-MNIST, SVHN, CIFAR-10 and CIFAR-100). We find that, while all algorithms yield comparable performance on MNIST, important differences in performance arise as the difficulty of the task increases. Our key findings reveal that negative perturbations are better than positive ones, and highlight the centered variant of EP (which uses two perturbations of opposite sign) as the best-performing algorithm. We also endorse these findings with theoretical arguments. Additionally, we establish new SOTA results with DCHNs on all five datasets, both in performance and speed. In particular, our DCHN simulations are 13.5 times faster with respect to Laborieux et al. (2021), which we achieve thanks to the use of a novel energy minimisation algorithm based on asynchronous updates, combined with reduced precision (16 bits).

연구 동기 및 목표

• 동일한 모델과 데이터셋을 사용하여 일곱 종류의 EBL 알고리즘—CL, EP 변종(P-, N-, C-), CpL 변종(P-, N-, C-)- 간의 직접적이고 공정한 비교를 제공한다.
• MNIST, F-MNIST, SVHN, CIFAR-10, CIFAR-100에서 작업 난이도 증가에 따라 알고리즘 성능가 변화하는 방식을 조사한다.
• 아날로그 및 에너지 효율적인 AI 하드웨어에 가장 효과적인 EBL 알고리즘을 성능, 안정성, 수렴성 평가를 통해 규명한다.
• 새로운 비동기 에너지 최소화 알고리즘과 감소된 정밀도(16비트) 계산을 통해 EBL 학습을 크게 가속화한다.
• 모든 다섯 가지 기준 데이터셋에서 DCHNs의 정확도와 속도 측면에서 새로운 최고 기록을 수립한다.

제안 방법

• 학습된 깊이 있는 컨volution형 호프리드 네트워크(DCHNs)를 일곱 종류의 EBL 알고리즘—CL, P-EP, N-EP, C-EP, P-CpL, N-CpL, C-CpL—을 사용하여 학습하였으며, 학습 중 적용된 편향의 기호와 유형에 따라 다름.
• 자유 상태(클램프되지 않은 상태)와 편향된 상태(클램프되거나 왜곡된 상태)를 대조하기 위해 편향을 적용하였으며, 가중치 갱신은 두 상태 간의 에너지 차이에서 유도되었다.
• 비동기 에너지 최소화 알고리즘을 신규로 구현하여, 뉴런을 동시에 업데이트하지 않고 무작위 순서로 업데이트함으로써 수렴 속도를 향상시켰다.
• 모델 정밀도를 16비트 부동소수점으로 감소시켜 정확도를 유지하면서도 학습 속도를 향상시켰다.
• 모든 알고리즘과 데이터셋 간에 동일한 모델 아키텍처와 하이퍼파라미터를 사용하여 공정한 비교를 확보하였다.
• Nvidia A100 GPU에서 시뮬레이션을 수행하였으며, 다섯 가지 데이터셋에 대한 전체 평가를 위해 최대 6일간 학습을 수행하였다.

실험 결과

연구 질문

• RQ1 다양한 편향 기호를 가진 EBL 알고리즘(CL, EP, CpL)이 점점 더 복잡한 시각 작업에서 성능을 어떻게 비교할 수 있는가?
• RQ2 음수 편향(N-EP, N-CpL)이 양수 편향(P-EP, P-CpL) 또는 중심 편향보다 더 우수한 일반화 성능을 보이는가?
• RQ3 EP의 중심형 변종(C-EP)이 다양한 데이터셋에서 정확도와 수렴 안정성 측면에서 다른 EBL 알고리즘보다 뛰어나다고 할 수 있는가?
• RQ4 비동기 에너지 최소화와 16비트 정밀도가 학습 시간을 크게 단축시키며 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 제안된 학습 최적화 기법이 표준 시각 벤치마크에서 DCHNs의 정확도와 속도 측면에서 새로운 최고 기록을 달성하는 데 기여하는가?

주요 결과

• MNIST에서는 모든 EBL 알고리즘이 유사한 성능을 보이며, C-EP와 N-EP가 가장 낮은 테스트 오차(각각 0.44% 및 0.42%)를 기록했다.
• 작업 난이도가 증가함에 따라 성능 격차가 두드러지며, 특히 CIFAR-100에서는 C-EP가 37.0%의 테스트 오차를 기록하여 CL(71.4%)와 P-EP(89.4%)를 크게 앞서며 성능이 뛰어나다.
• 음수 편향(N-EP, N-CpL)이 항상 양수 편향(P-EP, P-CpL)보다 뛰어나며, SVHN에서 N-EP는 CL의 9.64% 대비 3.51%의 테스트 오차를 기록했다.
• 모든 데이터셋에서 중심형 EP(C-EP)가 최고의 성능을 보이며, 다섯 가지 벤치마크에서 모두 최고 성능을 기록했다.
• 제안된 비동기 에너지 최소화와 16비트 정밀도로 이전 연구(Laborieux et al., 2021) 대비 학습 시간을 13.5배 단축시켰으며, 이는 더 빠른 수렴을 가능하게 했다.
• SVHN에서 개선된 가중치 초기화를 통해 C-EP는 3.58%의 테스트 오차를 기록하여 RBP(3.91%)와 TBP(3.66%)를 모두 앞서며 복잡한 데이터에서의 강건성을 확인했다.