[논문 리뷰] Embedded hyper-parameter tuning by Simulated Annealing

Matteo Fischetti, Matteo Stringher|arXiv (Cornell University)|2019. 06. 04.

Model Reduction and Neural Networks참고 문헌 12인용 수 13

한 줄 요약

이 논문은 Stochastic Gradient Descent (SGD) 내부에 Simulated Annealing (SA)를 통합하여 학습 중에 동적으로 학습률을 조정하는 임bedded 하이퍼파rameter 튜닝 방법을 제안한다. 기울기 정보를 활용한 이동과 SA 수용 기준을 통해 후보 하이퍼파rameter를 실시간으로 평가함으로써 일반화 성능을 향상시키며, CIFAR-10에서 ResNet34와 VGG16에 대해 표준 SGD 대비 최대 1-2% 높은 검증 정확도를 달성한다.

ABSTRACT

We propose a new metaheuristic training scheme that combines Stochastic Gradient Descent (SGD) and Discrete Optimization in an unconventional way. Our idea is to define a discrete neighborhood of the current SGD point containing a number of "potentially good moves" that exploit gradient information, and to search this neighborhood by using a classical metaheuristic scheme borrowed from Discrete Optimization. In the present paper we investigate the use of a simple Simulated Annealing (SA) metaheuristic that accepts/rejects a candidate new solution in the neighborhood with a probability that depends both on the new solution quality and on a parameter (the temperature) which is modified over time to lower the probability of accepting worsening moves. We use this scheme as an automatic way to perform hyper-parameter tuning, hence the title of the paper. A distinctive feature of our scheme is that hyper-parameters are modified within a single SGD execution (and not in an external loop, as customary) and evaluated on the fly on the current minibatch, i.e., their tuning is fully embedded within the SGD algorithm. The use of SA for training is not new, but previous proposals were mainly intended for non-differentiable objective functions for which SGD is not applied due to the lack of gradients. On the contrary, our SA method requires differentiability of (a proxy of) the loss function, and leverages on the availability of a gradient direction to define local moves that have a large probability to improve the current solution. Computational results on image classification (CIFAR-10) are reported, showing that the proposed approach leads to an improvement of the final validation accuracy for modern Deep Neural Networks such as ResNet34 and VGG16.

연구 동기 및 목표

• 딥 네트워크(DNN)에서 하이퍼파rameter 튜닝, 특히 학습률 선택의 과제를 해결하기 위해, 이는 일반적으로 수동적이거나 외부 루프에서 수행된다.
• 하이퍼파rameter 검색을 단일 SGD 학습 루프 내부에 직접 통합하여 외부 루프 없이 실시간 적응을 가능하게 하는 방법을 개발한다.
• 기울기 정보를 활용해 하이퍼파rameter 공간에서 유망한 국소적 이동을 정의함으로써, 무작위 또는 격자 기반 방법에 비해 검색 효율성을 향상시킨다.
• 랜덤 시드가 최적화 경로와 최종 일반화 성능에 상당한 영향을 미치는 테이블 하이퍼파라미터로 간주할 수 있는지 탐색한다.
• SA 기반 하이퍼파라미터 튜닝이 현대 DNN 아키텍처에서 표준 SGD에 비해 최종 검증 정확도와 손실 측면에서 우수한 성능을 보일 수 있는지 평가한다.

제안 방법

• 현재 SGD 점 주변의 이산적 하이퍼파라미터 이웃(예: 학습률)을 정의하며, 유망한 이동을 유도하기 위해 기울기 정보를 활용한다.
• Simulated Annealing (SA)을 사용하여 손실 변화와 시간에 따라 변하는 온도 매개변수에 기반해 후보 하이퍼파라미터 변경을 확률적으로 수용하거나 기각한다.
• Metropolis 수용 기준을 적용: 손실 증가량 Δ와 온도 T를 고려해 exp(−Δ/T) 확률로 악화되는 이동을 수용한다. 이 온도 T는 시간이 지남에 따라 감소한다.
• 각 후보 하이퍼파라미터 변경을 현재 미니배치에서 실시간으로 평가함으로써, 전체 데이터셋을 다시 저장하거나 재평가하지 않고도 실시간 튜닝을 가능하게 한다.
• 전체 과정을 단일 SGD 학습 루프 내부에 통합하여 외부 하이퍼파라미터 검색 루프가 필요 없도록 한다.
• 랜덤 시드를 외부에서 튜닝 가능한 하이퍼파라미터로 간주하며, 이는 검색 경로와 최종 모델 성능에 상당한 영향을 미친다.

실험 결과

연구 질문

• RQ1 Simulated Annealing은 외부 루프가 아닌 단일 SGD 학습 루프 내에서 하이퍼파라미터(예: 학습률) 튜닝에 효과적으로 활용될 수 있는가?
• RQ2 SGD 내부에 SA 기반 하이퍼파라미터 튜닝을 통합할 경우, 표준 SGD에 비해 이미지 분류 벤치마크에서 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 SA를 사용한 하이퍼파라미터 튜닝 시 랜덤 시드가 최적화 경로와 최종 모델 성능에 어떤 영향을 미치는가?
• RQ4 하이퍼파라미터 공간에서 기울기 정보를 활용한 이동은 순수하게 무작위 또는 격자 기반 하이퍼파라미터 선택에 비해 검색 효율성을 향상시킬 수 있는가?
• RQ5 제안된 방법은 수동 하이퍼파라미터 튜닝의 필요성을 어느 정도 줄일 수 있으며, 이로 인해 모델 정확도는 유지 또는 향상되는가?

주요 결과

• 제안된 SGD-SA 방법은 CIFAR-10에서 ResNet34와 VGG16 양쪽 모두에 대해 표준 SGD보다 유의미하게 낮은 최종 검증 손실을 달성하며, 모든 시드에 걸쳐 개선이 관찰된다.
• ResNet34의 경우, 10개의 랜덤 시드 중 최고 성능 런을 고려했을 때 SGD-SA가 표준 SGD 대비 1-2% 높은 검증 정확도를 기록한다.
• SGD-SA의 훈련 정확도는 표준 SGD보다 더 천천히 수렴하지만, 최종 검증 정확도는 일관되게 더 높아, 일반화 성능 향상이 확인된다.
• 기대한 바와 같이 악화되는 이동의 수용 확률은 시간이 지남에 따라 감소하며, 초기 에포크에서는 높은 수용률을 보이고 후기 에포크에서는 거의 0에 수렴한다.
• 다른 랜덤 시드들은 SGD-SA에서 상당히 다른 최적화 경로를 보이며, 이는 시드가 모델 성능에 영향을 미치는 강력한 하이퍼파라미터임을 시사한다.
• 다양한 기반 손실 함수를 사용함으로써 기울기 기반 이동 생성이 가능해지며, SA 수용 규칙은 비최적 이동의 탐색을 허용하여 강건성과 일반화 성능을 향상시킨다.