[논문 리뷰] Black-box optimization on hyper-rectangle using Recursive Modified Pattern Search and application to ROC-based Classification Problem

Priyam Das|arXiv (Cornell University)|2016. 04. 28.

Advanced Statistical Methods and Models참고 문헌 48인용 수 2

한 줄 요약

이 논문은 초직사각형 영역 내 블랙박스 함수를 위한 비미분 기반 전역 최적화 알고리즘인 재귀적 수정 패턴 탐색(RMPS)을 제안한다. 이 알고리즘은 좌표별 탐색과 적응형 스텝 크기, 병렬 평가를 통해 비연속적이고 다중 최적화 목표 함수를 효율적으로 최적화하며, 시뮬레이션된 난류보다 최대 368배 빠른 성능을 보이며 알츠하이머 생물학적 표지자 조합 최대화에서 스텝다운 알고리즘을 능가한다.

ABSTRACT

In statistics, it is common to encounter multi-modal and non-smooth likelihood (or objective function) maximization problems, where the parameters have known upper and lower bounds. This paper proposes a novel derivative-free global optimization technique that can be used to solve those problems even when the objective function is not known explicitly or its derivatives are difficult or expensive to obtain. The technique is based on the pattern search algorithm, which has been shown to be effective for black-box optimization problems. The proposed algorithm works by iteratively generating new solutions from the current solution. The new solutions are generated by making movements along the coordinate axes of the constrained sample space. Before making a jump from the current solution to a new solution, the objective function is evaluated at several neighborhood points around the current solution. The best solution point is then chosen based on the objective function values at those points. Parallel threading can be used to make the algorithm more scalable. The performance of the proposed method is evaluated by optimizing up to 5000-dimensional multi-modal benchmark functions. The proposed algorithm is shown to be up to 40 and 368 times faster than genetic algorithm (GA) and simulated annealing (SA), respectively. The proposed method is also used to estimate the optimal biomarker combination from Alzheimer's disease data by maximizing the empirical estimates of the area under the receiver operating characteristic curve (AUC), outperforming the contextual popular alternative, known as step-down algorithm.

연구 동기 및 목표

• 모르는 도메인 내에서 도함수가 계산이 불가능한 비볼록, 비연속, 블랙박스 목표 함수 최적화 문제를 해결하는 것.
• 고차원 공간에서 효율적이면서도 전역 수렴 성질을 유지하는 확장 가능한 비미분 최적화 기법을 개발하는 것.
• 알츠하이머 병변 분류에서 생물학적 표지자 조합의 경험적 수확률 아래 면적(AUC) 최적화를 향상시키는 것.
• 비용이 많이 드는 목표 함수에 대해 실행 시간을 줄이기 위해 패턴 탐색 알고리즘에서 병렬 계산을 가능하게 하는 것.
• 초기 시작점에 민감하지 않으며, 타당 영역의 경계에 전역 최적해가 존재하더라도 효과적으로 작동하는 것.

제안 방법

• RMPS는 현재 해 주변의 2n개 점에서 목표 함수를 평가하여 좌표별로 탐색을 수행한다: 각 좌표축을 따라 한 스텝 전진 및 후진한다.
• 각 반복에서, 목표 함수 값에 기반해 2n개 후보 해 중에서 가장 좋은 해를 선택하여 현재 해를 갱신한다.
• 향상이 없을 경우 스텝 크기를 적응적으로 줄여(반으로 나누어) 국소 정밀도 향상과 수렴을 가능하게 한다.
• 이 알고리즘은 최대 2n개의 병렬 스레드를 지원하여, 비용이 많이 드는 목표 함수의 계산을 크게 가속화한다.
• 국소 볼록성과 미분 가능성 가정 하에 이론적 수렴성을 확립하였으며, 컴acts 집합에서 전역 수렴이 보장된다.
• 이 방법은 MATLAB로 구현되었으며, 더 넓은 접근성을 위해 CRAN에 R 패키지(RMPSH)도 제공된다.

실험 결과

연구 질문

• RQ1 기존 메타휴리스틱 기법인 GA와 SA와 비교해 비미분 패턴 탐색 알고리즘이 고차원 블랙박스 최적화 문제에서 더 빠른 수렴 속도와 높은 해 품질을 달성할 수 있는가?
• RQ2 RMPS는 경험적 AUC와 같은 비연속적이고 다중 최적화 목표 함수를 ROC 기반 분류에서 어떻게 최적화하는가?
• RQ3 이웃 점 평가의 병렬화가 고차원 문제에서 실행 시간 확장성에 얼마나 기여하는가?
• RQ4 RMPS의 성능이 고차원 공간에서 초기 시작점의 선택에 크게 의존하는가?
• RQ5 타당 영역의 경계에 진짜 최적해가 존재하더라도 RMPS가 전역 최적해를 효과적으로 찾을 수 있는가?

주요 결과

• RMPS는 5000차원 기준 벤치마크 함수에서 유전 알고리즘(GA)보다 최대 40배 더 빠른 수렴 속도를 기록했다.
• 동일한 벤치마크 문제에서 RMPS는 시뮬레이션된 난류(SA)보다 최대 368배 더 빠른 성능을 보였다.
• 알츠하이머 병변 생물학적 표지자 조합의 경험적 AUC를 최대화할 때, RMPS는 스텝다운 알고리즘보다 더 높은 HUM(Heterogeneous Underlying Model) 목표 값을 도출했다.
• RMPS 최적화 계수로부터 유도된 선형 점수는 Youden의 지수 기반 분류에서 스텝다운 방법보다 더 적은 겹침 클러스터를 생성했다.
• 5000차원 문제까지 여러 초기 시작점에서 일관된 성능을 보이며, 초기화에 대한 민감도가 낮음을 입증했다.
• 진짜 최적해가 타당 영역의 경계점인 경우에도 RMPS는 전역 최적해를 성공적으로 탐색했다.