[논문 리뷰] Low-Rank Training of Deep Neural Networks for Emerging Memory Technology

Albert Gural, Phillip Nadeau외 2명|arXiv (Cornell University)|2020. 09. 08.

Advanced Memory and Neural Computing참고 문헌 38인용 수 4

한 줄 요약

이 논문은 비휘발성 메모리(NVM) 엣지 디바이스에서 저쓰기 밀도 학습을 가능하게 하기 위해 배치 크기와 보조 메모리 간의 분리가 가능한 계산 효율적이고 메모리 경량인 저랭크 훈련(LRT)을 제안한다. LRT는 저랭크 가중치 행렬과 기울기 최대노름 정규화를 사용하여 SGD 대비 최대 90%까지 가중치 갱신 횟수를 감소시키면서도 높은 정확도를 유지한다. 이는 적응 및 전이 학습 작업 전반에서 정확도와 쓰기 효율성 측면에서 표준 방법을 능가한다.

ABSTRACT

The recent success of neural networks for solving difficult decision tasks has incentivized incorporating smart decision making "at the edge." However, this work has traditionally focused on neural network inference, rather than training, due to memory and compute limitations, especially in emerging non-volatile memory systems, where writes are energetically costly and reduce lifespan. Yet, the ability to train at the edge is becoming increasingly important as it enables real-time adaptability to device drift and environmental variation, user customization, and federated learning across devices. In this work, we address two key challenges for training on edge devices with non-volatile memory: low write density and low auxiliary memory. We present a low-rank training scheme that addresses these challenges while maintaining computational efficiency. We then demonstrate the technique on a representative convolutional neural network across several adaptation problems, where it out-performs standard SGD both in accuracy and in number of weight writes.

연구 동기 및 목표

• 높은 쓰기 에너지와 제한된 내구성으로 인해 문제를 일으키는 신개념 비휘발성 메모리(NVM) 시스템에서의 현장 훈련 과제를 해결하기 위해.
• NVM 수명이 단절되고 에너지 비용이 증가하는 쓰기 동작을 최소화하기 위해 훈련 중 필요한 가중치 갱신 횟수를 줄이기 위해.
• 제한된 온칩 메모리가 있는 자원이 제한된 엣지 디바이스에서도 구현 가능한 최소한의 보조 메모리로 훈련을 가능하게 하기 위해.
• 특히 가중치 양자화와 낮은 배치 크기 조건에서 극한의 메모리 및 쓰기 제약 조건 하에서도 높은 모델 정확도를 유지하기 위해.
• LRT가 엣지 기반 하드웨어에서 다양한 적응 및 전이 학습 시나리오에 걸쳐 실현 가능함을 입증하기 위해.

제안 방법

• LRT는 정밀도가 높은 가중치 행렬을 저랭크 요인 L과 R으로 분해하여 매개변수 수와 쓰기 동작 수를 감소시킨다.
• 온라인 확률적 경사하강법을 사용하며, 전체 가중치 행렬 대신 L과 R 행렬만 갱신한다.
• 특히 저랭크 근사에서 기울기 노이즈를 줄이고 훈련을 안정화시키기 위해 기울기 최대노름 정규화를 도입한다.
• 온라인 및 누적 학습 환경에서의 훈련 안정성을 유지하기 위해 스트림형 배치 정규화를 사용한다.
• 불안정한 조건의 행렬에 대해 업데이트를 생략하기 위해 조건수 임계값 ($\kappa_{th}$)을 적용하여 계산을 줄이고 정확도 손실을 최소화한다.
• 편향이 있는 및 없는 LRT 변종을 모두 지원하며, 실험 분석을 통해 완전 연결 계층에서 비편향 LRT가 더 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 저랭크 가중치 분해가 NVM 기반 엣지 디바이스에서 훈련에 필요한 가중치 갱신 횟수를 줄일 수 있는가?
• RQ2 메모리 및 에너지 제약 조건 하에서 LRT는 표준 SGD와 정확도 및 쓰기 효율성 측면에서 어떻게 비교되는가?
• RQ3 높은 양자화와 낮은 배치 크기 조건에서 기울기 최대노름 정규화는 저랭크 훈련의 안정성에 어떤 역할을 하는가?
• RQ4 소규모 기울기가 SGD에서 소실되는 상황에서 LRT는 극한의 가중치 양자화 조건에서도 성능을 유지할 수 있는가?
• RQ5 스트림형 배치 정규화의 사용은 온라인 및 누적 학습 시나리오에서 수렴성과 안정성을 향상시키는가?

주요 결과

• LRT는 여러 온라인 적응 작업에서 SGD보다 높은 정확도를 달성했으며, 가중치 갱신 횟수를 90% 감소시킨 상태에서도 성능을 유지했다.
• ResNet-34 기반 ImageNet 전이 학습에서 비편향 LRT는 상위-1 정확도를 72.1%로 복구하여 SGD 및 고분산 기반 베이스라인을 크게 능가했다.
• 편향 전용 훈련은 정확도를 15~30% 감소시켜, 저랭크 분해에서 가중치 갱신의 중요성을 명확히 드러냈다.
• 스트림형 배치 정규화의 사용은 특히 노멀라이제이션 없음 설정에서 훈련 안정성을 향상시켰으며, 수렴성 향상에 특히 유익했다.
• 조건수 임계값 ($\kappa_{th}=100$) 적용으로 계산량을 약 2배 감소시켰고 정확도 영향은 최소였으며, 더 높은 임계값 ($\kappa_{th}=10^8$) 도 성능 향상에 기여하지 않았다.
• LRT는 SGD가 기울기 압축으로 인해 실패하는 극한의 가중치 양자화 조건에서도, 고비트폭 L과 R 행렬을 통해 소규모 기울기 신호를 유지함으로써 강건성을 입증했다.