[논문 리뷰] Deep Neural Network Hyperparameter Optimization with Orthogonal Array Tuning

Xiang Zhang, Xiaocong Chen외 3명|arXiv (Cornell University)|2019. 07. 31.

Machine Learning and Data Classification참고 문헌 15인용 수 27

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 새로운 하이퍼파rameter 최적화 기법인 수직 배열 튜닝 방법(OATM)을 제안한다. 이 기법은 수직 배열 실험 설계를 활용하여 하이퍼파rameter 공간을 효율적으로 탐색한다. 학습률, L2 정규화, 네트워크 아키텍처 파라미터 등의 균형 잡힌 부분 조합을 체계적으로 샘플링함으로써, 격자 탐색, 무작위 탐색, 베이지안 최적화에 비해 훨씬 적은 조정 시간으로 최신 기술 성능을 달성한다. RNN에서는 92.5%의 정확도를 기록했고, CNN에서는 79.7%를 기록하여 初기 OATM 시험 결과보다 뛰어난 성능을 보였다.

ABSTRACT

Deep learning algorithms have achieved excellent performance lately in a wide range of fields (e.g., computer version). However, a severe challenge faced by deep learning is the high dependency on hyper-parameters. The algorithm results may fluctuate dramatically under the different configuration of hyper-parameters. Addressing the above issue, this paper presents an efficient Orthogonal Array Tuning Method (OATM) for deep learning hyper-parameter tuning. We describe the OATM approach in five detailed steps and elaborate on it using two widely used deep neural network structures (Recurrent Neural Networks and Convolutional Neural Networks). The proposed method is compared to the state-of-the-art hyper-parameter tuning methods including manually (e.g., grid search and random search) and automatically (e.g., Bayesian Optimization) ones. The experiment results state that OATM can significantly save the tuning time compared to the state-of-the-art methods while preserving the satisfying performance. The codes are open in GitHub (https://github.com/xiangzhang1015/OATM)

연구 동기 및 목표

• 하이퍼파arameter 민감도가 심각한 딥러닝 문제에 대응하며, 구성에 따라 성능이 극명하게 변할 수 있음을 다루며(예: 32.2%에서 92.6%로 변동),
• 격자 탐색(계산 비용이 높음)과 무작위 탐색(수렴 보장이 없음)과 같은 전통적 하이퍼파arameter 조정 방법의 비효율성을 해결하며,
• 고차원 하이퍼파arameter 공간에서 잘 작동하지 않을 수 있는 베이지안 최적화의 한계를 개선하며(특히 대체 모델 파arameter에 민감함),
• 수직 배열 설계 원리를 활용한 체계적이고 효율적이며 재현 가능한 딥러닝 하이퍼파arameter 조정 방법을 제안하며,
• RNN 및 CNN과 같은 다양한 딥러닝 아키텍처와 실제 데이터셋에 대해 OATM의 일반성과 적응 가능성(유연성)을 입증한다.

제안 방법

• 태지 방법의 수직 배열 설계를 적용하여, 가능한 모든 하이퍼파arameter 조합의 대표 부분 집합만을 샘플링하는 극도로 분할된 균형 잡힌 실험 매트릭스를 생성한다.
• 학습률, L2 정규화, 층 수, 유닛 수 등의 하이퍼파aram터(요인)를 수직 배열 내의 이산 수준으로 정의한다.
• 수직 배열을 사용하여 각 하이퍼파aram터 수준의 고유 조합에 대해 모델을 훈련하고 평가하는 실험을 수행한다.
• 범위 분석을 수행하여 각 수준당 평균 정확도를 계산하고, 성능 변동 범위를 산정하며, 범위 크기를 기반으로 요인 중요도를 순위 매긴다.
• 모든 수준에서 평균 정확도가 가장 높은 조합을 최적 하이퍼파aram터 설정으로 선정한다.
• 최적 설정의 타당성을 확인하기 위해 최종 재평가를 수행하여, 실험 설계에서의 최고 시험 결과를 초월한 성능을 통해 국소 최적에 근접한 전역 최적의 근사가 이루어졌음을 입증한다.

실험 결과

연구 질문

• RQ1 수직 배열 기반 하이퍼파aram터 조정이, 격자 탐색, 무작위 탐색, 베이지안 최적화에 비해 훨씬 적은 조정 시간으로 더 높은 성능을 달성할 수 있는가?
• RQ2 실제 데이터셋에 적용했을 때, OATM 방법이 순환 신경망과 합성곱 신경망 모두에서 효율성과 효과성 측면에서 어떻게 비교되는가?
• RQ3 범위 분석을 통해 OATM가 얼마나 정확히 가장 영향력 있는 하이퍼파aram터를 식별할 수 있으며, 이 순위가 실질적인 성능 영향과 일치하는가?
• RQ4 실험 설계에서의 최고 결과를 초월한 최종 성능을 통해 OATM가 일관되게 전역 최적을 근사하거나 초월하는가?
• RQ5 OATM는 다양한 딥러닝 아키텍처와 데이터셋에 일반화되어 있으며, 이는 강건성과 적응 가능성(유연성)을 입증하는가?

주요 결과

• RNN 모델에서 OATM는 테스트 정확도 92.5%를 달성했으며, 초기 OATM 시험에서 관찰된 최고 정확도(89.7%)를 초월하여 전역 최적의 효과적인 근사가 이루어졌음을 시사한다.
• CNN 모델에서는 OATM가 최종 정확도 79.7%를 기록했고, OATM 실험 세트에서의 최고 결과(77.9%)를 초월하여 더 우수한 설정을 찾을 수 있음을 확인했다.
• 범위 분석 결과, RNN에서는 L2 정규화(λ)가 가장 영향력 있는 하이퍼파aram터였고, 이어서 층 수(nl), 학습률(lr), 유닛 수(nn)의 순서로 중요도가 높았으며, 중요도 순서는 λ > nl > lr > nn였다.
• CNN에서는 층 수(nl′)가 가장 중요한 요소였고, 이어서 유닛 수(nn′), 학습률(lr′), 필터 크기(f′)의 순서로 중요도가 높았으며, 중요도 순서는 nl′ > nn′ > lr′ > f′였다.
• OATM는 격자 탐색 및 무작위 탐색 대비 조정 시간을 크게 단축시키면서도 성능을 유지하거나 향상시켜, 뛰어난 효율성과 효과성을 입증했다.
• 소스 코드와 데이터셋을 공개함으로써 메서드의 재현 가능성이 향상되었으며, 이는 딥러닝 연구 분야에서의 복제와 광범위한 도입을 지원한다.