[논문 리뷰] Blackbox: A procedure for parallel optimization of expensive black-box functions

Paul Knysh, Yannis P. Korkolis|arXiv (Cornell University)|2016. 05. 03.

Advanced Multi-Objective Optimization Algorithms참고 문헌 4인용 수 32

한 줄 요약

이 논문은 반경 기저 함수(RBFs)와 공간 스케일링을 사용하여 비용이 많이 들고 흑상자인 함수를 위한 병렬 최적화 절차인 Blackbox를 제시한다. 초기 설계에 라틴 하이퍼큐브 샘플링을 적용하고, 적응형 샘플링을 갖춘 수정된 CORS 알고리즘과 다코어 병렬 처리를 결합하여 기능 평가 횟수를 최소화하면서도 전역 최적해를 효율적으로 탐색하며, 고차원이고 비용이 많이 드는 최적화 문제에서 응답 표면 정확도를 크게 향상시킨다.

ABSTRACT

This note provides a description of a procedure that is designed to efficiently optimize expensive black-box functions. It uses the response surface methodology by incorporating radial basis functions as the response model. A simple method based on a Latin hypercube is used for initial sampling. A modified version of CORS algorithm with space rescaling is used for the subsequent sampling. The procedure is able to scale on multicore processors by performing multiple function evaluations in parallel. The source code of the procedure is written in Python.

연구 동기 및 목표

• 각 평가가 계산적으로 비용이 많이 들고 해석적 기울기가 없는 상황에서 고비용 흑상자 함수 최적화 문제를 해결하기 위해.
• 적응형 샘플링과 공간 스케일링을 적용한 반경 기저 함수(RBFs)를 사용하여 고차원 공간에서 응답 표면 모델링 정확도를 향상시키기 위해.
• 기능 평가를 가속화하고 총 최적화 시간을 단축하기 위해 다코어 프로세서에서 효율적인 병렬 처리를 가능하게 하기 위해.
• 전역 최적해를 찾는 데 필요한 기능 평가 횟수를 최소화하는 강력하고 확장 가능한 절차를 개발하기 위해.
• RBF-피팅 클라우드 공분산 기반의 공간 스케일링을 도입하여 조건이 나쁜 또는 계곡 형태의 목적 함수를 처리하기 위해.

제안 방법

• 초기 샘플링은 반복적인 무작위 평면 교환을 통해 균일성을 향상시키는 맞춤형 라틴 하이퍼큐브 구성 방식을 사용하여 산란도수 S를 최소화한다.
• 응답 표면은 삼차원 반경 기저 함수(RBFs)에 다변량 다항식 항을 추가하여 피팅 품질을 향상시킨다.
• 기능 값은 최상의 초기 샘플들로부터 유도된 임계값 t를 사용하여 [0,1] 범위로 스케일링되어 외곽선의 영향을 줄이고 해석 가능성을 향상시킨다.
• 후속 샘플링은 공간 스케일링이 적용된 수정된 CORS 알고리즘을 사용한다: 10,000개 이상의 무작위 점들로 구성된 클라우드를 생성하고, 최상의 5%의 공분산 행렬을 사용하여 변환 행렬 T를 정의한다.
• 변환 행렬 T는 공분산 행렬의 고유벡터와 고유값의 역제곱근을 사용하여 계산되며, 계곡 형태의 특징의 주요 방향에 따라 검색 공간을 늘어나게 한다.
• 병렬 처리는 파이썬의 multiprocessing.map을 통해 구현되며, 사용 가능한 코어들에 샘플 배치를 분배하여 코어 수에 비례하는 선형 속도 향상을 달성한다.

실험 결과

연구 질문

• RQ1 제한된 평가 횟수로도 RBF 기반의 응답 표면 방법이 고비용 흑상자 함수를 효과적으로 최적화할 수 있는가?
• RQ2 라틴 하이퍼큐브 샘플링은 어떻게 개선되어야 하며, 초기 샘플의 산란도를 최소화하면서도 검색 공간을 균일하게 커버할 수 있는가?
• RQ3 RBF-피팅 클라우드 공분산 기반의 공간 스케일링이 계곡 형태 영역에서 응답 표면 정확도를 얼마나 향상시키는가?
• RQ4 CORS 알고리즘은 어떻게 수정되어야 하며, 고차원 공간에서 수렴성을 향상시키는 밀도 감소 샘플링을 지원할 수 있는가?
• RQ5 다코어 아키텍처에서 병렬 실행을 통해 어떤 정도의 속도 향상과 최적화 효율성을 달성할 수 있는가?

주요 결과

• 15회 평가(초기 10회, 후속 5회)로도 시험 함수의 전역 최소값을 성공적으로 탐색하여, 제한된 샘플링 조건에서도 효과를 입증하였다.
• 30회 평가(초기 20회, 후속 10회)에서는 전역 최소값과 일부 국소 최소값을 더 잘 포착하는 응답 표면이 만들어져 샘플링 횟수 증가에 따라 정확도 향상을 보였다.
• 공간 스케일링은 RBF 피팅 품질을 크게 향상시켰으며, 좁은 계곡이 존재하는 비볼록 함수에 대한 실험에서 스케일링된 피팅이 진짜 함수 형태를 더 정확하게 반영하는 것으로 확인되었다.
• 임계값 기반의 기능 값 스케일링은 외곽선의 영향을 줄이고 응답 표면 모델의 해석 가능성과 안정성을 향상시켰다.
• 함수 평가가 파이썬의 multiprocessing 모듈을 사용해 병렬로 분배되므로, 코어 수에 비례하여 선형 속도 향상을 달성하였다.
• 적응형 밀도 감소와 공간 스케일링을 적용한 수정된 CORS 알고리즘은 기능 평가 횟수를 최소화하면서도 복잡한 고차원 목적 함수의 탐색을 효율적으로 가능하게 하였다.