[논문 리뷰] Black-Box Optimization in Machine Learning with Trust Region Based Derivative Free Algorithm

Hiva Ghanbari, Katya Scheinberg|arXiv (Cornell University)|2017. 03. 20.

Machine Learning and Algorithms참고 문헌 23인용 수 12

한 줄 요약

이 논문은 기울기 정보에 의존하지 않고, 기계학습에서 부드럽지 않고 노이즈가 있는 함수인 수신기 작동 특성 곡선 아래 면적(AUC)을 직접 최대화하기 위해 신뢰영역 기반 비도함수 최적화(DFO-TR) 방법을 제안한다. 이 방법은 수렴 효율성과 노이즈에 대한 강건성 덕분에, 고차원 문제에서 베이지안 최적화와 무작위 탐색보다도 초모수 조정 및 AUC 최대화에서 뛰어난 성능을 발휘한다.

ABSTRACT

In this work, we utilize a Trust Region based Derivative Free Optimization (DFO-TR) method to directly maximize the Area Under Receiver Operating Characteristic Curve (AUC), which is a nonsmooth, noisy function. We show that AUC is a smooth function, in expectation, if the distributions of the positive and negative data points obey a jointly normal distribution. The practical performance of this algorithm is compared to three prominent Bayesian optimization methods and random search. The presented numerical results show that DFO-TR surpasses Bayesian optimization and random search on various black-box optimization problem, such as maximizing AUC and hyperparameter tuning.

연구 동기 및 목표

• 기울기 정보에 의존하지 않고, AUC와 같은 비연속적이고 노이즈가 있는 성능 지표를 최적화하는 데 도전하는 것.
• 특히 신뢰영역 기반 DFO-TR를 포함한 비도함수 최적화(DFO) 방법의 효과성을 베이지안 최적화와 무작위 탐색과 비교하여 평가하는 것.
• 기계학습에서 고차원 블랙박스 최적화 문제에 대한 DFO-TR의 확장성과 실용적 성능을 조사하는 것.
• 선형 분류기와 RBF 커널 SVM의 초모수에 대해 DFO-TR이 노이즈가 있거나 부분적으로 샘플링된 데이터에서도 AUC를 효율적으로 최적화할 수 있음을 보여주는 것.
• DFO-TR가 초모수 조정 및 모델 평가에서 베이지안 최적화의 확장 가능한 대안으로서 이론적이고 경험적인 근거를 제공하는 것.

제안 방법

• DFO-TR 알고리즘은 목적 함수의 국소 모델을 반복적으로 구축하고 최적화함으로써 신뢰영역 프레임워크를 사용하며, 명시적 기울기 계산을 피한다.
• 이 방법은 반복당 계산 비용을 줄이기 위해 훈련 데이터를 부분적으로 샘플링하는 스 tochastic 변형(S-DFO-TR)을 사용하며, 수렴 성질을 유지한다.
• AUC 최대화를 위해 알고리즘은 분류기 가중치의 함수로 AUC를 블랙박스 함수로 간주하며, 함수 평가만을 사용한다. 실패한 단계 후에는 재샘플링을 적용하여 노이즈 평가를 교정한다.
• 신뢰영역 하위문제는 2차 모델을 사용하여 해결되며, 실제 감소율과 예측 감소율의 비율(rho_k)에 따라 스텝 크기를 조정한다.
• 강건성을 향상시키기 위해 적응형 샘플링을 사용하는 선 탐색 기법을 사용한다: 실제 향상이 부족할 경우(ρ_k < η₀), 새로운 랜덤 샘플을 사용해 함수를 재평가한다.
• 이 방법은 선형 분류기의 AUC 최대화와 RBF 커널 SVM의 세 개의 연속 초모수(λ, γ, c_p)에 대한 초모수 조정에 적용된다.

실험 결과

연구 질문

• RQ1 기울기 정보에 의존하지 않고 비연속적이고 노이즈가 있는 성능 지표인 AUC를 효과적으로 최적화할 수 있는 비도함수 신뢰영역 방법(DFO-TR)은 가능한가?
• RQ2 DFO-TR는 AUC 최대화 및 초모수 조정 작업에서 베이지안 최적화와 무작위 탐색에 비해 성능 및 효율성 면에서 어떻게 비교되는가?
• RQ3 스토하스틱 변형인 S-DFO-TR는 대규모 데이터셋에서 계산 비용을 줄이면서도 수렴성과 성능을 유지하는가?
• RQ4 베이지안 최적화와 무작위 탐색에 비해 DFO-TR의 확장성은 고차원 검색 공간(예: 3차원 이상)에서 어떻게 나타나는가?
• RQ5 실제 기계학습 문제, 예를 들어 비용 민감한 SVM 조정에서 DFO-TR은 더 빠른 수렴 속도와 더 높은 최종 성능을 달성할 수 있는가?

주요 결과

• DFO-TR는 선형 분류기의 AUC 최대화에서 베이지안 최적화와 무작위 탐색을 일관되게 능가하며, 더 적은 함수 평가 수로 더 높은 평균 AUC 값을 달성한다.
• 스토하스틱 변형인 S-DFO-TR는 결정론적 DFO-TR와 유사한 수렴 속도를 달성하면서도, 데이터 부분 샘플링 덕분에 특히 초기 반복에서 반복당 비용을 줄인다.
• RBF 커널 SVM의 3차원 초모수 조정 문제에서 DFO-TR는 무작위 탐색과 베이지안 최적화 방법(특히 BO 기반 베이스라인 중에서 가장 우수한 SMAC 포함)보다 높은 테스트 정확도를 달성한다.
• 알고리즘은 노이즈가 있는 함수 평가에 대해 강건성을 보이며, 실패한 단계 후 재샘플링을 통해 샘플링 분산으로 인한 잘못된 높은 AUC 값에 갇히는 것을 방지한다.
• DFO-TR는 기울기 기반 방법이 실패하는 비볼록성과 비연속성의 목적 함수인 AUC 문제에서 강력한 성능을 보이며, 최종 목적 함수 값 측면에서 부드러운 근사화 방법보다도 뛰어나다.
• DFO-TR는 고차원 공간에서 베이지안 최적화보다 더 우수한 확장성을 보이며, 고차원에서 일반적으로 나타나는 지수적 비용 증가보다 계산 비용이 더 유리하게 증가한다.