[논문 리뷰] BOCK : Bayesian Optimization with Cylindrical Kernels

ChangYong Oh, Efstratios Gavves외 1명|arXiv (Cornell University)|2018. 06. 05.

Gaussian Processes and Bayesian Inference참고 문헌 33인용 수 34

한 줄 요약

BOCK는 검색 공간 기하학을 재구성하기 위해 실린더 변환을 사용하는 새로운 베이지안 최적화 프레임워크를 제안한다. 이는 경계 쪽으로의 엔트로피적 편향을 감소시키고 최적화 작업을 중심에 집중시킨다. 고차원 문제에서 최신 기술 수준의 성능을 달성하며, 500차원 신경망 레이어 및 확률적 깊이 ResNet의 하이퍼파rameter를 최적화함으로써 정확도와 효율성이 향상된다.

ABSTRACT

A major challenge in Bayesian Optimization is the boundary issue (Swersky, 2017) where an algorithm spends too many evaluations near the boundary of its search space. In this paper, we propose BOCK, Bayesian Optimization with Cylindrical Kernels, whose basic idea is to transform the ball geometry of the search space using a cylindrical transformation. Because of the transformed geometry, the Gaussian Process-based surrogate model spends less budget searching near the boundary, while concentrating its efforts relatively more near the center of the search region, where we expect the solution to be located. We evaluate BOCK extensively, showing that it is not only more accurate and efficient, but it also scales successfully to problems with a dimensionality as high as 500. We show that the better accuracy and scalability of BOCK even allows optimizing modestly sized neural network layers, as well as neural network hyperparameters.

연구 동기 및 목표

• 고차원에서의 부피가 기하급수적으로 증가함에 따라 검색 공간 경계 근처에 과도하게 평가가 집중되는 베이지안 최적화의 경계 문제를 해결하기 위해.
• 고차원 공간에서 가우시안 프로세스 기반의 베이지안 최적화의 효율성과 정확도를 향상시키기 위해.
• 신경망 레이어 및 하이퍼파rameter와 같은 복잡한 고차원 함수의 효과적인 최적화를 가능하게 하기 위해.
• 표준 방법이 실패하는 500차원 문제까지의 확장성을 입증하기 위해.

제안 방법

• 공간의 부피를 등분하는 실린더로의 변환을 통해 구에서 실린더로 매핑하는 검색 공간의 변환을 수행한다.
• 변환된 공간에서 반경 기반 커널을 적용하여 서로서터 함수를 모델링함으로써 각 링대의 부피가 동일하게 유지되고 경계 쪽으로의 엔트로피력이 제거된다.
• 기존 최적화 문제를 중심이 유리한 새로운 공간으로 좌표를 변환함으로써 가우시안 프로세스 서로서터의 구조를 유지한다.
• 기하학적 변환을 통합한 새로운 실린더 커널을 정의하여 변환된 공간에서 정확하고 안정적인 회귀를 가능하게 한다.
• 기대 개선도와 같은 취득 함수를 사용하는 표준 베이지안 최적화 파이프라인에 실린더 커널을 통합한다.
• 수렴성과 샘플 효율성을 향상시키기 위해 중심 근처의 확장과 경계 근처의 압축을 균형 잡는 변환 매개변수를 최적화한다.

실험 결과

연구 질문

• RQ1 검색 공간에서 기하학적 변환을 통해 고차원 베이지안 최적화에서 경계 쪽으로의 엔트로피적 편향을 줄일 수 있는가?
• RQ2 실린더 변환이 가우시안 프로세스 기반의 베이지안 최적화의 정확도와 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 BOCK는 표준 베이지안 최적화가 실패하는 500차원 문제를 성공적으로 최적화할 수 있는가?
• RQ4 BOCK는 신경망 레이어 및 하이퍼파rameter 최적화에서 표준 베이지안 최적화를 능가하는가?
• RQ5 딥러닝 하이퍼파ram터 최적화에서 BOCK는 Adam과 같은 표준 학습 방법보다 더 나은 일반화나 성능을 달성할 수 있는가?

주요 결과

• BOCK는 표준 벤치마크 함수에서 최신 기술 수준의 베이지안 최적화 기준보다 높은 정확도와 효율성을 달성하며, 특히 고차원 설정에서 두각을 나타낸다.
• BOCK는 500차원 신경망 레이어를 성공적으로 최적화하여 Adam을 사용한 SGD와 경쟁 가능한 테스트 손실을 달성했으며, 테스트 세트에 과적합된 점도 있었다.
• 200차원 및 500차원 실험에서 BOCK는 다섯 번의 런에서 Adam 기반 SGD와 동일하거나 뛰어난 성능을 보이며 강건성과 확장성을 입증했다.
• BOCK는 CIFAR-100에서 Stochastic Depth ResNet-110의 사망률 벡터를 최적화하여 50회의 평가만으로 75.21%의 검증 정확도를 달성했고, 기대 깊이를 74.51로 감소시켰다.
• 최적화된 SDResNet는 기준보다 약간 높은 테스트 정확도(75.06%)를 달성했으며, 더 얕은 네트워크를 사용함으로써 효율성과 성능 향상을 보였다.