[논문 리뷰] Solving Black-Box Optimization Challenge via Learning Search Space Partition for Local Bayesian Optimization

Mikita Sazanovich, Anastasiya Nikolskaya외 2명|arXiv (Cornell University)|2020. 12. 18.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 학습된 검색 공간 분할을 통해 국소 베이지안 최적화를 향상시키는 새로운 블랙박스 최적화 알고리즘인 SPBOpt을 제안한다. 국소 및 원격 평가 데이터를 모두 활용해 하이퍼파라미터를 튜닝하는 다중 작업 베이지안 최적화를 결합함으로써, SPBOpt는 NeurIPS 2020 블랙박스 최적화 챌린지에서 최종 라운드에서 최상위 기준선인 TuRBO를 능가하며 3위를 기록했다.

ABSTRACT

Black-box optimization is one of the vital tasks in machine learning, since it approximates real-world conditions, in that we do not always know all the properties of a given system, up to knowing almost nothing but the results. This paper describes our approach to solving the black-box optimization challenge at NeurIPS 2020 through learning search space partition for local Bayesian optimization. We describe the task of the challenge as well as our algorithm for low budget optimization that we named \ exttt{SPBOpt}. We optimize the hyper-parameters of our algorithm for the competition finals using multi-task Bayesian optimization on results from the first two evaluation settings. Our approach has ranked third in the competition finals.

연구 동기 및 목표

• 실제 머신러닝 하이퍼파라미터 튜닝 시나리오에서 저예산 블랙박스 최적화 문제를 해결하기 위해.
• 고차원적이고 저예산인 환경에서 베이지안 최적화의 샘플 효율성과 성능을 향상시키기 위해.
• 이전 관측 결과를 바탕으로 하이퍼파라미터 공간을 어떻게 분할할지를 학습함으로써 어디를 검색할지 결정하는 방법을 개발하기 위해.
• 국소 및 원격 평가 데이터를 모두 활용한 메타최적화 접근법을 통해 SPBOpt 알고리즘 자체의 하이퍼파라미터를 최적화하기 위해.
• 엄격한 반복 횟수 및 예산 제약 조건 하에서 다양한 테스트 케이스(합성 및 실제 머신러닝 문제 포함)에 대해 강건한 성능을 달성하기 위해.

제안 방법

• 초기 샘플링 단계에서 라틴 하이퍼큐브 샘플링과 비율 기반 샘플링을 조합하여 다양한 시작점을 생성한다.
• 동적으로 학습된 관심 영역 내에서 가우시안 프로세스 대체 모델과 기대 개선도 확보 함수를 사용한 국소 베이지안 최적화를 적용한다.
• 이전 성능 기반으로 유망한 하위영역을 식별하기 위해 서포트 벡터 머신(SVM)을 사용해 검색 공간 분할을 학습한다.
• 분할 모델은 과거 평가 결과를 기반으로 훈련되며 반복적으로 업데이트되어 검색 영역을 정밀화한다.
• 초기화 포인트, 커널 유형, 정규화, 감쇠 등 SPBOpt의 하이퍼파라미터는 국소 및 원격 평가 환경에서 다중 작업 베이지안 최적화를 통해 튜닝되었다.
• 통계적 유의성 확보를 위해 평가 런에 걸쳐 성능가지 가장 유의미한 차이를 보이는 후보 설정을 윌코크슨 부호 순위 검정을 통해 최종 선택했다.

실험 결과

연구 질문

• RQ1 학습된 검색 공간 분할은 저예산 블랙박스 최적화 환경에서 국소 베이지안 최적화의 샘플 효율성과 성능을 향상시키는가?
• RQ2 국소 및 원격 평가 데이터를 결합함으로써 최적화 알고리즘의 하이퍼파라미터 튜닝의 강건성은 어떻게 향상되는가?
• RQ3 최적화 알고리즘 자체의 설정을 위한 메타최적화 접근법이 새로운 테스트 케이스에 대한 일반화 능력을 향상시키는가?
• RQ4 SPBOpt는 TuRBO 및 hyperopt와 같은 최상위 기준선과 비교해 최종 목표 값과 다양한 평가 환경에서의 안정성 측면에서 어떻게 성과를 내는가?
• RQ5 원격 평가 서버에 대한 과적합은 최종 경쟁 성과에 어떤 영향을 미치며, 이를 어떻게 완화할 수 있는가?

주요 결과

• SPBOpt는 NeurIPS 2020 블랙박스 최적화 챌린지 최종 라운드에서 최종 점수 92.509를 기록하여 총 3위를 차지했다.
• 최고의 기준선인 TuRBO가 최종 라운드에서 88.921점을 기록한 것과 비교해 SPBOpt는 더 뛰어난 강건성을 보였다.
• 모든 SPBOpt 설정이 국소 평가에서 표준 기준선을 초월했으며, 최고의 설정(SPBOpt 2)은 평균 점수 98.898을 기록했다.
• 원격 평가 결과, 대부분의 설정이 평균 97점 이상을 기록했으며, SPBOpt 5는 97.505 ± 0.117의 점수를 기록했다.
• 최종 선택은 윌코크슨 부호 순위 검정을 통해 통계적 유의성을 확보하여 SPBOpt 2가 다른 설정보다 유의미하게 뛰어난 성능을 보임을 확인했다.
• 원격 평가에서 최종 평가로의 성능 저하 현상은 많은 알고리즘이 원격 서버에 과적합됨을 시사하지만, SPBOpt의 메타튜닝 접근법이 일반화 능력을 향상시켰다.