[논문 리뷰] Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks

Kazuki Osawa, Yohei Tsuji외 4명|arXiv (Cornell University)|2018. 11. 29.

Advanced Neural Network Applications참고 문헌 30인용 수 19

한 줄 요약

이 논문은 이미지넷에서 ResNet-50을 훈련하기 위해 초대용량 미니배치를 사용하는 대규모 분산 2차 최적화 방법을 제안한다. 반정밀도 계산, 대칭 크로네커 분해, 배치 정규화 레이어의 피셔 정보 행렬(FIM)에 대한 대각 행렬 근사 기법을 활용하여, 미니배치 크기가 131,072인 경우 978회 반복(100 에포크) 만에 75%의 상위-1 정확도를 달성한다. 이는 2차 최적화 방법이 1차 최적화 방법만큼 일반화 성능을 유지하면서도 더 빠르게 수렴할 수 있음을 보여준다.

ABSTRACT

Large-scale distributed training of deep neural networks suffer from the generalization gap caused by the increase in the effective mini-batch size. Previous approaches try to solve this problem by varying the learning rate and batch size over epochs and layers, or some ad hoc modification of the batch normalization. We propose an alternative approach using a second-order optimization method that shows similar generalization capability to first-order methods, but converges faster and can handle larger mini-batches. To test our method on a benchmark where highly optimized first-order methods are available as references, we train ResNet-50 on ImageNet. We converged to 75% Top-1 validation accuracy in 35 epochs for mini-batch sizes under 16,384, and achieved 75% even with a mini-batch size of 131,072, which took only 978 iterations.

연구 동기 및 목표

• 증가한 효과적 미니배치 크기로 인해 발생하는 딥 네ural 네트워크의 대규모 분산 훈련에서의 일반화 갭을 해결하기 위해.
• K-FAC와 같은 2차 최적화 방법이 이미지넷에서 고도로 최적화된 1차 최적화 방법(예: 적응형 학습률을 갖는 SGD)과 동일한 일반화 성능을 달성할 수 있음을 입증하기 위해.
• 대각 FIM 근사 및 오래된 피셔 행렬 갱신과 같은 공격적인 근사 기법을 통해 분산 환경에서 K-FAC의 계산 및 메모리 오버헤드를 줄이기 위해.
• 131,072까지의 미니배치 크기를 유지하면서도 높은 검증 정확도와 빠른 수렴을 유지할 수 있도록 하기 위해.

제안 방법

• 메모리 및 통신 오버헤드를 줄이기 위해 반정밀도 부동소수점 산술을 사용하는 동기식 전워커 분산 K-FAC 최적화기를 구현하였다.
• 곡률 근사에서 크로네커 인자들의 대칭성을 활용하여 중복 계산 및 통신을 최소화하였다.
• 배치 정규화 레이어의 피셔 정보 행렬(FIM)은 대각 행렬로 근사되어 ResNet-50 기준으로 메모리 소비를 1017 MiB에서 587 MiB로 감소시켰다.
• 500회 반복 이후 FIM 갱신 빈도를 낮추는(오래된 FIM 갱신) 방식을 통해 계산 비용을 크게 절감하면서도 정확도에 영향을 주지 않았다.
• 1,024개의 Tesla V100 GPU를 통해 효율적인 대배치 훈련을 가능하게 하기 위해 하이브리드 데이터-모델 병렬 전략을 적용하였다.
• FIM 갱신 주기를 동적으로 조정: 첫 13 에포크는 매 1 에포크마다, 이후에는 매 20 에포크마다 갱신하여 정확도와 효율성의 균형을 맞추었다.

실험 결과

연구 질문

• RQ1 초대용량 미니배치로 딥 네트워크를 훈련할 때, K-FAC와 같은 2차 최적화 방법이 SGD와 같은 1차 최적화 방법(예: 학습률 스케일링)과 동일한 일반화 성능을 달성할 수 있는가?
• RQ2 모델 성능 저하 없이 대규모 분산 훈련에서 K-FAC의 계산 및 메모리 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 배치 정규화 레이어의 피셔 정보 행렬(FIM)을 대각 행렬로 근사하는 것이 훈련 안정성과 정확도에 어떤 영향을 미치는가?
• RQ4 오래된 FIM 갱신을 효과적으로 사용하여 계산량을 줄일 수 있는가? 이는 수렴성과 일반화 성능에 영향을 주지 않는가?
• RQ5 대규모 미니배치로 훈련하는 동안 ResNet-50의 FIM는 어떻게 변화하는가? 이는 최적화 동역학에 대해 어떤 통찰을 제공하는가?

주요 결과

• K-FAC 최적화기는 131,072의 미니배치 크기로 ResNet-50을 이미지넷에서 훈련시켜 978회 반복(100 에포크) 만에 75.0%의 상위-1 검증 정확도를 달성하여, 이와 같은 대규모 배치에서 최고의 성능을 보였다.
• 미니배치 크기가 16,384 이하일 경우, 35 에포크 만에 75.2%의 정확도에 도달하여, 유사한 정확도를 확보하기 위해 더 많은 에포크가 필요한 1차 최적화 방법보다 훨씬 빠른 수렴을 보였다.
• 배치 정규화 레이어의 FIM에 대각 근사를 적용함으로써 메모리 사용량을 1017 MiB에서 587 MiB로 감소시켰으며, 이는 정확도에 미치는 영향을 측정할 수 없을 정도로 미미했다.
• 13 에포크 이후 매 20 에포크마다 갱신하는 오래된 FIM 갱신 방식을 통해 계산 비용을 줄였고, 131,072의 미니배치 크기에서도 75%의 정확도를 유지하였다.
• 1,024개의 Tesla V100 GPU를 사용하여 10분 내로 74.9%의 상위-1 정확도를 달성하여, 기존의 SGD 기반 접근법보다 훈련 속도와 확장성 면에서 뛰어난 성능을 보였다.
• 본 연구는 2차 최적화 방법이 초대용량 미니배치 크기에서도 SGD보다 일반화 성능이 열 劣하지 않음을 입증하며, 이는 이전의 가정을 도전하는 결과이다.