[논문 리뷰] A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning

Alexandre Reeberg de Mello, Jonathan de Matos외 3명|arXiv (Cornell University)|2019. 04. 26.

Metaheuristic Optimization Algorithms Research참고 문헌 32인용 수 5

한 줄 요약

이 논문은 서포트 벡터 머신(SVM)의 가우시안 커널에서 하이퍼파rameter 튜닝을 위한 결정적 메시 적응 직접 탐색 알고리즘인 Ortho-MADS를 제안한다. 이 알고리즘은 수직 방향을 사용하며 수렴성을 보장하고, 메시 크기를 기반으로 동적 정지 기준을 적용한다. 또한 넬더-미드(Nelder-Mead)와 변수 이웃 영역 탐색(Variable Neighborhood Search) 전략을 융합하여 기존 방법들보다 정확도와 수렴 속도에서 뛰어난 성능을 발휘한다. 다양한 벤치마크 데이터셋에서 검증되었다.

ABSTRACT

In this paper, we propose the use of a black-box optimization method called deterministic Mesh Adaptive Direct Search (MADS) algorithm with orthogonal directions (Ortho-MADS) for the selection of hyperparameters of Support Vector Machines with a Gaussian kernel. Different from most of the methods in the literature that exploit the properties of the data or attempt to minimize the accuracy of a validation dataset over the first quadrant of (C, gamma), the Ortho-MADS provides convergence proof. We present the MADS, followed by the Ortho-MADS, the dynamic stopping criterion defined by the MADS mesh size and two different search strategies (Nelder-Mead and Variable Neighborhood Search) that contribute to a competitive convergence rate as well as a mechanism to escape from undesired local minima. We have investigated the practical selection of hyperparameters for the Support Vector Machine with a Gaussian kernel, i.e., properly choose the hyperparameters gamma (bandwidth) and C (trade-off) on several benchmark datasets. The experimental results have shown that the proposed approach for hyperparameter tuning consistently finds comparable or better solutions, when using a common configuration, than other methods. We have also evaluated the accuracy and the number of function evaluations of the Ortho-MADS with the Nelder-Mead search strategy and the Variable Neighborhood Search strategy using the mesh size as a stopping criterion, and we have achieved accuracy that no other method for hyperparameters optimization could reach.

연구 동기 및 목표

• 기존의 검은 상자 하이퍼파rameter 최적화 방법들이 수렴 보장을 제공하지 못하는 문제를 해결하기 위해.
• 결정적 메시 적응 탐색을 활용하여 가우시안 커널을 가진 SVM의 하이퍼파ram터 선택의 효율성과 강건성을 향상시키기 위해.
• 메시 크기를 기반으로 한 동적 정지 기준을 개발하여 계산 비용과 해의 품질 간 균형을 이루기 위해.
• 하이브리드 탐색 전략(네덜-미드 및 변수 이웃 영역 탐색)을 활용하여 국소 탐색 능력을 향상시키고 열악한 국소 최소값에서 벗어나기 위해.

제안 방법

• SVM 하이퍼파aram터 최적화를 위한 비미분 기반 최적화의 기초로 메시 적응 직접 탐색(MADS) 프레임워크를 채택한다.
• 탐색 단계에서 수직 방향을 도입하여 탐색 효율성과 수렴 성질을 향상시킨다.
• 메시 크기를 기반으로 한 동적 정지 기준을 적용하여 기울기 정보가 필요 없이도 수렴성을 보장한다.
• 국소 탐색 성능 향상과 조기 수렴 방지를 위해 넬더-미드와 변수 이웃 영역 탐색 전략을 통합한다.
• RBF-SVM에서 두 가지 핵심 하이퍼파aram터인 C(정규화)와 감마(gamma, 커널 대역폭)를 튜닝하기 위해 알고리즘을 적용한다.
• 데이터 특성에 의존하지 않는 검증 정확도 기반 목적 함수를 사용하며, 사분면 제약 조건도 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 수직 방향을 사용하는 결정적 메시 적응 직접 탐색이 기존 히우리스틱 방법들보다 SVM 하이퍼파aram터 튜닝에서 더 나은 수렴성과 해의 품질을 달성할 수 있는가?
• RQ2 메시 크기를 기반으로 한 동적 정지 기준은 정확도와 계산 비용 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 넬더-미드와 변수 이웃 영역 탐색 전략이 수렴 속도 향상과 국소 최소값 탈출에 얼마나 기여하는가?
• RQ4 Ortho-MADS는 다양한 벤치마크 데이터셋에서 다른 최신 하이퍼파aram터 최적화 기법들보다 일관되게 뛰어난 성능을 보일 수 있는가?

주요 결과

• Ortho-MADS는 여러 벤치마크 데이터셋에서 다른 하이퍼파aram터 최적화 방법들보다 높은 분류 정확도를 달성한다.
• 동일한 설정 조건 하에서 기존 방법들에 비해 해를 일관되게 유사하거나 더 우수한 수준으로 찾는다.
• 넬더-미드와 변수 이웃 영역 탐색 전략의 조합은 수렴 속도와 강건성을 크게 향상시킨다.
• 메시 크기를 기반으로 한 동적 정지 기준은 계산 효율성과 해의 품질 간 균형을 효과적으로 달성한다.
• 논문에서 제시된 많은 히우리스틱 기반 접근법들과는 달리 수렴 증명을 보유하고 있어 핵심적인 이점이다.
• 이 연구에서 보고된 바와 같이, Ortho-MADS는 다른 어떤 하이퍼파aram터 최적화 방법보다도 높은 정확도 수준을 달성한다.