[논문 리뷰] Scalable Bayesian Optimization Using Deep Neural Networks

Jasper Snoek, Oren Rippel외 7명|arXiv (Cornell University)|2015. 02. 19.

Machine Learning and Data Classification참고 문헌 60인용 수 439

한 줄 요약

이 논문은 깊이 있는 신경망을 사용하여 함수의 사후 분포를 모델링함으로써 확장 가능한 베이지안 최적화 방법인 딥 네트워크를 통한 글로벌 최적화(DNGO)를 제안한다. 기존의 가우시안 프로세스 대신 딥 네트워크를 사용함으로써 데이터 크기에 대해 선형 스케일링을 달성하여 대량의 병렬 하이퍼파rameter 튜닝을 가능하게 하며, CIFAR-10(6.37% 오차)과 CIFAR-100(27.4% 오차)에서 최신 기술 수준의 성능을 달성하면서도 최소한의 순차적 단계를 요구한다.

ABSTRACT

Bayesian optimization is an effective methodology for the global optimization of functions with expensive evaluations. It relies on querying a distribution over functions defined by a relatively cheap surrogate model. An accurate model for this distribution over functions is critical to the effectiveness of the approach, and is typically fit using Gaussian processes (GPs). However, since GPs scale cubically with the number of observations, it has been challenging to handle objectives whose optimization requires many evaluations, and as such, massively parallelizing the optimization. In this work, we explore the use of neural networks as an alternative to GPs to model distributions over functions. We show that performing adaptive basis function regression with a neural network as the parametric form performs competitively with state-of-the-art GP-based approaches, but scales linearly with the number of data rather than cubically. This allows us to achieve a previously intractable degree of parallelism, which we apply to large scale hyperparameter optimization, rapidly finding competitive models on benchmark object recognition tasks using convolutional networks, and image caption generation using neural language models.

연구 동기 및 목표

• 베이지안 최적화에서 가우시안 프로세스의 세제곱 계산 복잡도 문제를 해결하여 고평가 환경에서의 확장성 향상
• 비용이 많이 드는 GP 추론을 확장 가능한 신경망 대체 모델로 대체하여 대규모 병렬 하이퍼파rameter 최적화 구현
• 데이터 크기에 대해 선형적으로 확장되면서도 불확실성 측정 및 탐색-이용 균형을 유지하는 방법 개발
• 딥 네트워크 하이퍼파ram터 튜닝을 포함한 대규모 기계학습 문제에서 접근법의 효과성 입증
• 최적화 프레임워크 자체의 문제 특화 튜닝 없이도 다양한 글로벌 최적화 작업에 일반화 가능한 강력하고 일반화 가능한 최적화 프레임워크 구축

제안 방법

• 베이지안 최적화에서 가우시안 프로세스 사전분포를 깊이 있는 신경망으로 대체하여 함수의 사후 분포를 모델링
• 신경망을 사용해 베이지안 선형 회귀를 위한 적응형 기저 함수 집합을 학습시켜 효율적인 함수 근사 구현
• 새로운 관측치가 도착함에 따라 스케일러블하고 점진적인 업데이트가 가능한 확률적 경사 하강법을 사용해 신경망 대체 모델을 훈련
• 신경망의 예측 평균과 분산을 기반으로 표준 취득 함수(예: 기대 개선도)를 사용해 다음 평가 지점 유도
• 모델의 불확실성 추정치를 활용해 GP 기반 방법과 유사하게 탐색과 이용의 균형을 유지
• Intel Xeon Phi 코프로세서 및 고성능 클러스터와 같은 병렬 컴퓨팅 자원을 활용해 평행 실행을 분산하여 대규모 하이퍼파ram터 검색 적용

실험 결과

연구 질문

• RQ1 딥 네트워크가 불확실성 측정을 유지하면서도 베이지안 최적화에서 GPs를 효과적으로 대체할 수 있는가?
• RQ2 제안된 DNGO 방법이 함수 평가 수에 대해 선형 스케일링을 달성하여 대규모 병렬 최적화를 가능하게 하는가?
• RQ3 DNGO가 이미지 분류와 같은 복잡한 딥 러닝 작업에서 최신 기술 수준의 성능을 달성하거나 초월하는 하이퍼파ram터 설정을 발견할 수 있는가?
• RQ4 대규모 벤치마크에서 DNGO의 수렴 속도와 최종 솔루션 품질 측면에서 GP 기반 베이지안 최적화와 비교해 성능가능성은 어떠한가?
• RQ5 DNGO는 최적화 프레임워크 자체의 재튜닝 없이 다양한 기계학습 문제에 얼마나 잘 일반화되는가?

주요 결과

• DNGO는 관측 수에 대해 선형 스케일링을 달성함으로써 표준 가우시안 프로세스의 세제곱 스케일링과 대비하여 확장 가능한 최적화 가능
• 방법은 CIFAR-10에서 테스트 오차 6.37%를 달성하는 컨volutional 네트워크 설정을 성공적으로 발견하여 최신 기술 수준의 성능 달성
• CIFAR-100에서는 테스트 오차 27.4%를 기록하는 모델을 발견하여 기존 기준 방법을 크게 능가하고 경쟁 가능한 성능 확보
• Intel Xeon Phi 코프로세서에서 40개의 작업을 동시에 병행 실행하여 효율적인 대량 병렬 하이퍼파라미터 튜닝 가능
• DNGO 최적화 하이퍼파ram터를 사용해 전체 CIFAR-100 데이터셋을 350 에포크 동안 훈련한 최종 모델은 테스트 오차 27.4%를 기록하여 강력한 일반화 능력 입증
• DNGO는 이미지 캡션 생성 작업에서도 경쟁 가능한 성능 달성하여 Microsoft COCO 2014 데이터셋에서 단일 모델 기준 BLEU 점수 25.1, 앙상블 기준 26.7 달성