[논문 리뷰] A Practical Bandit Method with Advantages in Neural Network Tuning.

Tianyu Wang, Dawei Geng외 1명|arXiv (Cornell University)|2019. 01. 26.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 신경망 하이퍼파rameter 튜닝을 향상시키기 위해 하이퍼파ram터, 모델 컨텍스트(예: 아키텍처 또는 데이터셋) 및 학습 자원(예: 반복 횟수)의 공동 공간을 적응적으로 분할하는 실용적인 확률적 밴딧 방법을 제안한다. 동적으로 유망한 영역에 집중하고 자원 할당을 통합함으로써, 기존 방법에 비해 학습 자원 사용을 50% 이상 줄이면서도 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Stochastic bandit algorithms can be used for challenging non-convex optimization problems. Hyperparameter tuning of neural networks is particularly challenging, necessitating new approaches. To this end, we present a method that adaptively partitions the combined space of hyperparameters, context, and training resources (e.g., total number of training iterations). By adaptively partitioning the space, the algorithm is able to focus on the portions of the hyperparameter search space that are most relevant in a practical way. By including the resources in the combined space, the method tends to use fewer training resources overall. Our experiments show that this method can surpass state-of-the-art methods in tuning neural networks on benchmark datasets. In some cases, our implementations can achieve the same levels of accuracy on benchmark datasets as existing state-of-the-art approaches while saving over 50% of our computational resources (e.g. time, training iterations).

연구 동기 및 목표

• 기존 방법이 비볼록 하이퍼파라미터 튜닝에 대해 비효율적이고 유연성이 부족한 점을 해결하기 위해 깊은 신경망에서의 비볼록 하이퍼파라미터 튜닝 문제에 도전한다.
• 기존 밴딧 알고리즘의 한계를 극복하기 위해 통합 최적화 공간 내에서 학습 자원 할당을 고려하지 않는 점을 해결한다.
• 하이퍼파라미터와 자원 공간의 조합된 영역에서 가장 유망한 영역에 탐색을 적응적으로 집중할 수 있는 방법을 개발한다.
• 학습 반복 횟수 또는 시간으로 측정되는 총 계산 비용을 줄이되, 벤치마크 데이터셋에서 모델 성능을 훼손하지 않는다.

제안 방법

• 이 방법은 하이퍼파라미터, 모델 컨텍스트(예: 아키텍처 또는 데이터셋) 및 학습 자원(예: 학습 반복 횟수)을 하나의 검색 공간에 함께 모델링한다.
• 관측된 성능에 기반하여 공동 공간을 영역으로 나누는 적응형 분할을 사용하여 성능이 높은 영역에 집중적으로 탐색할 수 있도록 한다.
• 알고리즘은 분할된 공간 전역에서 탐색과 이용의 균형을 이루는 데 확률적 밴딧 프레임워크를 사용한다.
• 자원 할당이 최적화 과정에 통합되어, 생산성이 떨어지는 영역에서는 짧은 학습 실행을 우선시하고 잠재력이 높은 영역에서는 더 긴 실행을 우선시할 수 있다.
• 각 설정의 성능 피드백이 반복적으로 분할 및 할당 결정을 업데이트하는 데 사용된다.
• 관측된 분산과 수렴 추세에 따라 분할의 정밀도를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 학습 자원을 검색 공간에 통합한 통합 밴딧 프레임워크가 정확도와 효율성 측면에서 최신 기술 수준의 하이퍼파라미터 튜닝 방법을 초월할 수 있는가?
• RQ2 하이퍼파라미터-자원 공간의 적응형 분할이 성능 저하 없이 필요한 학습 반복 횟수를 얼마나 줄일 수 있는가?
• RQ3 검색 공간에 컨텍스트(예: 데이터셋 또는 모델 유형)를 포함시키면 튜닝 과정의 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ4 어떤 상황에서 이 방법이 계산 자원을 50% 이상 줄이면서도 모델 정확도를 유지하거나 향상시키는가?

주요 결과

• 제안된 방법은 벤치마크 신경망 데이터셋에서 최신 기술 수준의 테스트 정확도를 달성하며, 기존 방법과 동등하거나 이를 초월한다.
• 다양한 벤치마크 데이터셋에서, 이 방법은 기존 기준 방법에 비해 필요한 학습 반복 횟수를 50% 이상 줄였지만 동일한 정확도를 유지한다.
• 학습 자원을 검색 공간에 통합함으로써 더 효율적인 자원 할당이 가능해져, 유망하지 않은 설정에서 낭비적인 장시간 학습을 방지할 수 있다.
• 적응형 분할은 하이퍼파라미터 공간의 고성능 영역에 계산 자원을 집중시켜 수렴 속도를 향상시킨다.
• 이 방법은 다양한 신경망 아키텍처와 데이터셋에서 강건성을 보이며, 광범위한 적용 가능성을 시사한다.
• 이 접근은 하이퍼파라미터 튜닝의 총 계산 비용을 크게 줄여 실제 딥러닝 워크플로우에서 실용적으로 사용할 수 있도록 한다.