[논문 리뷰] Low-rank lottery tickets: finding efficient low-rank neural networks via matrix differential equations

Steffen Schotthöfer, Emanuele Zangrando외 3명|arXiv (Cornell University)|2022. 05. 26.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 행렬 미분 방정식을 사용하여 신경망 내의 낮은 질량 행렬을 동적으로 유지하는 새로운 학습 알고리즘을 제안한다. 이는 메모리와 계산 자원을 크게 줄인 채로 효율적인 학습과 추론을 가능하게 하며, 전체 질량 네트워크와 유사한 성능을 달성하면서도 학습 중에 질량을 자동으로 조정한다. 이는 초기화에 의존하지 않고도 직접 학습 과정에서 '낮은 질량 승리 티켓'(low-rank winning tickets) — 즉, 높은 성능을 보이는 하위 네트워크 — 가 존재한다는 것을 입증한다.

ABSTRACT

Neural networks have achieved tremendous success in a large variety of applications. However, their memory footprint and computational demand can render them impractical in application settings with limited hardware or energy resources. In this work, we propose a novel algorithm to find efficient low-rank subnetworks. Remarkably, these subnetworks are determined and adapted already during the training phase and the overall time and memory resources required by both training and evaluating them are significantly reduced. The main idea is to restrict the weight matrices to a low-rank manifold and to update the low-rank factors rather than the full matrix during training. To derive training updates that are restricted to the prescribed manifold, we employ techniques from dynamic model order reduction for matrix differential equations. This allows us to provide approximation, stability, and descent guarantees. Moreover, our method automatically and dynamically adapts the ranks during training to achieve the desired approximation accuracy. The efficiency of the proposed method is demonstrated through a variety of numerical experiments on fully-connected and convolutional networks.

연구 동기 및 목표

• 자원이 제한된 환경에서 대규모 신경망을 학습하고 배포할 때 발생하는 높은 메모리 및 계산 비용 문제를 해결하기 위해.
• 고정된 질량 또는 후처리 압축이 필요한 기존의 낮은 질량 및 정렬된 네트워크 방법의 한계를 극복하기 위해.
• 최적화 과정에서 자연스럽게 효율적인 낮은 질량 하위 네트워크(낮은 질량 승리 티켓)를 발견하고 유지하는 학습 방법을 개발하기 위해.
• 특히 작은 특이값 근처에서 수치적 안정성과 수렴 보장이 보장되는 낮은 질량 다양체 위에서의 최적화 과정에서의 안정성과 수렴 보장을 확보하기 위해.
• 학습 중에 질량을 수동으로 하이퍼파라미터 조정 없이 자동으로 동적으로 조정할 수 있도록 하기 위해.

제안 방법

• 학습 중에 행렬의 질량 다각체 위에 제약을 두어 가중치 행렬을 $ W = U S V^ op $ 형태로 표현함으로써, $ U $, $ S $, $ V $ 는 낮은 질량 요소이며 학습 중에 갱신된다.
• 학습 과정을 낮은 질량 다각체 위에서의 연속 시간 경사 하강 흐름으로 공식화하며, 행렬 미분 방정식에 대한 동적 낮은 질량 근사(DLRA) 기법을 활용한다.
• 학습 전반에 걸쳐 낮은 질량 구조를 유지하는 낮은 질량 수치적 통합 기법을 사용하여, 특히 작은 특이값이 존재할 경우에도 안정성을 확보한다.
• 역전파 기울기는 행렬 연쇄법칙을 통해 계산되며, 수반 방법을 사용하여 $ U $, $ S $, $ V $ 에 대한 효율적인 갱신식을 유도한다.
• 컨볼루션 레이어의 경우 커널 텐서를 행렬로 펼치고, 펼친 커널에 대해 낮은 질량 분해를 적용함으로써 컨볼루션 구조를 유지한다.
• 낮은 질량 다각체 위에서의 최적화 과정에 대해 근사 정확도, 내림내림 행동, 안정성에 대한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 후처리 정렬이나 초기화에 의존하는 검색 없이, 학습 과정 중에 직접 낮은 질량 하위 네트워크를 효율적으로 발견하고 학습시킬 수 있는가?
• RQ2 특이값이 작을 경우에도 수치적 안정성과 수렴 보장을 확보하면서 낮은 질량 구조를 유지할 수 있는 학습 알고리즘이 가능한가?
• RQ3 제안된 방법이 목표 정확도를 달성하면서 최소한의 파라미터로 학습 중에 가중치 행렬의 질량을 자동으로 적응적으로 조정할 수 있는가?
• RQ4 결과적으로 유도된 낮은 질량 하위 네트워크 — 즉, '낮은 질량 승리 티켓' — 는 랜덤 초기화로부터 학습된 경우에도 전체 질량 모델과 유사한 성능을 달성하는가?
• RQ5 표준 낮은 질량 학습 및 희소성 기반 정렬 방법과 비교해 볼 때, 제안된 방법은 효율성과 정확성 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 완전 질량 네트워크와 유사한 테스트 정확도를 완전 연결 및 컨볼루션 아키텍처에서 달성하며, 파라미터 수가 크게 줄어든 상태에서도 가능하다.
• 이 방법은 학습 중에 가중치 행렬의 질량을 동적으로 조정하여 수동으로 질량 하이퍼파라미터를 조정할 필요가 없어진다.
• 수치 실험 결과, 전체 질량 모델과 비교해 학습 및 추론 과정에서 메모리 사용량과 계산 비용이 크게 감소한 것으로 나타났다.
• 특히 작은 특이값이 존재할 경우에도 근사 정확도, 내림내림 행동, 안정성에 대한 이론적 보장을 제공한다.
• 결과적으로 초기화에 의존하지 않고 학습 과정에서 직접 발견되는 '낮은 질량 승리 티켓' — 즉, 높은 성능을 보이는 낮은 질량 하위 네트워크 — 가 존재한다는 것을 시사한다.
• 적절한 다각체 제약 최적화를 통해 안정성과 정확성을 유지하는 점에서, 단순한 낮은 질량 학습 기법(예: $ U $ 및 $ V $ 에 대한 교차 SGD)보다 성능이 뛰어나다.