[논문 리뷰] Improving Neural Network Training in Low Dimensional Random Bases

Frithjof Gressmann, Zach Eaton-Rosen외 1명|arXiv (Cornell University)|2020. 11. 09.

Advanced Neural Network Applications참고 문헌 37인용 수 6

한 줄 요약

이 논문은 랜덤 저차원 부분공간을 최적화 단계마다 재설계하는 Random Basis Descent (RBD)를 제안한다. 이 방법은 고정된 랜덤 투영보다 더 빠른 수렴 속도와 높은 정확도를 달성하며, ResNet-8를 사용한 CIFAR-10에서 최대 10배의 속도 향상과 20.5% 향상된 검증 정확도를 기록한다.

ABSTRACT

Stochastic Gradient Descent (SGD) has proven to be remarkably effective in optimizing deep neural networks that employ ever-larger numbers of parameters. Yet, improving the efficiency of large-scale optimization remains a vital and highly active area of research. Recent work has shown that deep neural networks can be optimized in randomly-projected subspaces of much smaller dimensionality than their native parameter space. While such training is promising for more efficient and scalable optimization schemes, its practical application is limited by inferior optimization performance. Here, we improve on recent random subspace approaches as follows: Firstly, we show that keeping the random projection fixed throughout training is detrimental to optimization. We propose re-drawing the random subspace at each step, which yields significantly better performance. We realize further improvements by applying independent projections to different parts of the network, making the approximation more efficient as network dimensionality grows. To implement these experiments, we leverage hardware-accelerated pseudo-random number generation to construct the random projections on-demand at every optimization step, allowing us to distribute the computation of independent random directions across multiple workers with shared random seeds. This yields significant reductions in memory and is up to 10 times faster for the workloads in question.

연구 동기 및 목표

• 낮은 차원의 신경망 학습에서 고정된 랜덤 부분공간 방법의 열악한 최적화 성능를 해결한다.
• 하드웨어 가속 랜덤 수열 생성을 활용해 대규모 최적화의 효율성과 확장성을 향상시킨다.
• 깊은 신경망 학습에서 동적, 단계별 랜덤 투영이 정적 투영보다 우수한 성능을 낼 수 있는지 조사한다.
• 네트워크 크기가 증가함에 따라 근사 효율성을 향상시키기 위해 분할된 랜덤 투영을 탐색한다.
• 각 단계에서 랜덤 기저를 재설계하는 것이 고정 투영 강하(FPD)보다 더 나은 일반화와 더 빠른 수렴을 가능하게 한다는 것을 입증한다.

제안 방법

• 모든 최적화 단계에서 랜덤 투영 행렬을 재표본 추출하는 Random Basis Descent (RBD)를 도입한다. 고정된 행렬이 아닌, 매 단계마다 새로운 행렬을 사용한다.
• 다른 네트워크 구성 요소(예: 레이어 또는 가중치 그룹)에 독립적인 랜덤 투영을 적용하여, 각 구성 요소의 효과적 차원을 감소시킨다.
• 하드웨어 가속 랜덤 수열 생성을 활용해 필요에 따라 랜덤 방향을 계산하고, 공유된 시드를 사용해 분산 계산을 가능하게 한다.
• 레이어 크기에 비례하여 랜덤 기저를 할당하는 전략을 통해 깊이 있는 네트워크에서 근사 효율성을 향상시킨다.
• 각 단계에서 독립적으로 추출된 랜덤 벡터가 생성하는 저차원 부분공간에 제약을 두는 파arameterization 방식을 구현한다.
• 기존 SGD에 통합하여 기울기를 현재 랜덤 기저에 투영함으로써, 효율적이고 저메모리 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 각 학습 단계에서 랜덤 부분공간을 재설계하는 것이 고정된 랜덤 투영에 비해 최적화 성능을 크게 향상시킬 수 있는가?
• RQ2 네트워크 레이어 간에 랜덤 투영을 분할하면 모델 크기가 증가함에 따라 학습 효율성과 정확도가 향상되는가?
• RQ3 동적 랜덤 기저는 훨씬 줄어든 학습 가능한 파라미터 수로 전체 차원의 SGD와 비교해 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 RBD의 성능은 고정 투영 강하(FPD) 및 유도 없는 최적화(예: NES)와 비교해 정확도와 수렴 속도 측면에서 어떻게 다른가?
• RQ5 하드웨어 가속 랜덤 수열 생성을 통해 동적 랜덤 부분공간 최적화가 대규모 모델에 대해 실용적이고 확장 가능한가?

주요 결과

• RBD는 ResNet-8를 사용한 CIFAR-10에서 고정 투영 강하(FPD) 기준 20.5% 향상된 검증 정확도를 기록했으며, 블랙박스 NES 기준으로는 39.6% 향상되었다.
• RBD는 학습 가능한 파라미터 수를 10배 줄였을 때(7,982 vs. 78,330) 기준 SGD 성능의 84%를 달성했고, 모든 압축 수준에서 FPD를 초월했다.
• 75배의 파라미터 감소 수준에서도 RBD는 FPD 대비 11% 이상의 상대적 향상을 유지했으며, 극한의 압축 조건에서도 강건함을 입증했다.
• 기존 방법 대비 벽시계 기반 학습 시간을 최대 10배 단축했으며, 효율적인 메모리 사용과 분산 계산 덕분에 유리함을 보였다.
• 레이어 간에 랜덤 투영을 분할하면 정확도와 학습 속도가 모두 향상되었고, FPD에 적용해도 명확한 성능 향상이 관찰되었다.
• RBD 기울기와 전체 SGD 기울기 간 상관계수는 파라미터 수 감소 10배 수준에서 0.42 ± 0.18로 강한 상관관계 유지하여 효과적인 내림값 방향 근사가 가능함을 시사한다.