[논문 리뷰] Black-box Optimization on Multiple Simplex Constrained Blocks

Priyam Das|arXiv (Cornell University)|2016. 09. 08.

Metaheuristic Optimization Algorithms Research참고 문헌 14인용 수 3

한 줄 요약

이 논문은 다수의 크기가 다른 단형 블록으로 제약 조건이 부여된 매개변수를 가진 목적 함수를 위한 효율적인 블랙박스 최적화 알고리즘인 Multi-Block GCDVSS를 제안한다. 각 단형 블록 내에서 동시에 적응형 스텝 사이즈 업데이트를 가능하게 함으로써, 유전 알고리즘 대비 최대 7배 빠른 수렴을 달성하면서도 차원 수에 따라 선형적으로만 병렬 처리 요구량이 증가하여 고차원 환경에서 계산 효율성이 크게 향상된다.

ABSTRACT

Black-box optimization of objective function of parameters belonging to simplex arises in many inference and predictive models. Das (2016) introduced Greedy Co-ordinate Descent of Varying Step-sizes on Simplex (GCDVSS) which efficiently optimizes any black-box function whose parameters belong to a simplex. In this paper, that method has been modified and extended for the case where the set of parameters may belong to multiple simplex block of different sizes. The main principle of this algorithm is to make jumps of varying step-sizes within each simplexes simultaneously and searching for the best direction for movement. Since this algorithm is designed specially for multiple simplex blocks parameter space, the proportion of movements made within the parameter space during the update step of a iteration is relatively higher for the proposed algorithm. Starting from a single initial guess, unlike genetic algorithm or simulated annealing, requirement of parallelization for this algorithm grows linearly with the dimension of the parameter space which makes it more efficient for higher dimensional optimization problems. Comparative studies with some existing algorithms have been provided based on modified well-known benchmark functions. Upto 7 folds of improvement in computation time has been noted for using the proposed algorithm over Genetic algorithm, yielding significantly better solution in all the cases considered.

연구 동기 및 목표

• 다양한 크기의 다수의 단형 블록으로 제약 조건이 설정된 고차원 매개변수 공간에서의 효율적 최적화가 요구됨을 다루기.
• 유전 알고리즘과 시뮬레이티드 어닐링과 같은 기존 메타휴리스틱 기법들이 차원 수 증가에 따라 성능이 급격히 떨어지고 병렬 처리 요구량이 과도하게 증가하는 한계를 극복하기.
• 각 단형 블록 내에서 블록 단위로 적응형 스텝 사이즈 업데이트를 활용하여 각 반복에서 효과적인 매개변수 공간 탐색 비율을 유지하는 방법을 개발하기.
• 단형 제약 조건이 흔한 추론 및 예측 모델링 환경에서 블랙박스 함수의 효율적 최적화를 가능하게 하기.
• 기준 평가에서 최첨단 기법들 대비 계산 효율성과 해의 품질을 향상시키기.

제안 방법

• 단일 단형 블록을 다루는 것에서 벗어나 다수의 단형 블록을 다룰 수 있도록 기존의 적응형 스텝 사이즈를 가진 탐욕적 좌표 강하(GCDVSS) 알고리즘을 확장한다.
• 각 반복에서 개별 단형 블록 내에서 동시에 적응형 스텝 사이즈 업데이트를 수행하여 매개변수 공간을 효율적으로 탐색한다.
• 함수 평가 피드백 기반으로 각 단형 블록 내에서 최적의 이동 방향을 탐욕 전략으로 선택한다.
• 모든 매개변수 업데이트가 해당 단형 제약 조건의 범위 내에 유지되도록 타당성(가용성)을 유지한다.
• 단일 초기 추측값을 사용하고 인구 기반 탐색을 피함으로써 메모리 및 병렬 처리 오버헤드를 감소시킨다.
• 전체 매개변수 공간의 차원 수에 따라 병렬 처리 요구량이 선형적으로 증가하며, 인구 기반 방법이 제곱 또는 그 이상으로 증가하는 것과는 대조적으로 유리하다.

실험 결과

연구 질문

• RQ1 GCDVSS는 다양한 크기의 다수의 단형 블록을 효과적으로 다룰 수 있도록 확장될 수 있는가? 이때 효율성과 수렴 성질은 유지되는가?
• RQ2 제약 조건이 있는 블랙박스 최적화 문제에서 기존의 메타휴리스틱 알고리즘인 유전 알고리즘과 비교해 볼 때, 제안된 Multi-Block GCDVSS 알고리즘의 수렴 속도와 해의 품질은 어떠한가?
• RQ3 병렬 처리 스케일링이 선형으로 유지되는 것의 영향으로 인해, 고차원 매개변수 공간에서 인구 기반 방법 대비 알고리즘이 얼마나 더 우수한 확장성을 가지는가?
• RQ4 블록 단위의 적응형 스텝 사이즈 전략은 기존 방법들보다 각 반복에서 더 높은 비율의 효과적인 매개변수 공간 탐색을 이끌어내는가?
• RQ5 단순형 제약 조건이 있는 기준 함수에서, 해의 품질을 희생시키지 않고도 상당한 계산 시간 단축을 달성할 수 있는가?

주요 결과

• 제안된 Multi-Block GCDVSS 알고리즘은 모든 테스트 기준 함수에서 유전 알고리즘 대비 최대 7배 빠른 계산 시간을 달성한다.
• 모든 테스트 케이스에서 유전 알고리즘보다 더 뛰어난 해의 품질을 지속적으로 제공하여 우수한 수렴 성능를 입증한다.
• 병렬 처리 요구량이 매개변수 공간의 차원 수에 따라 선형적으로 증가하여, 인구 기반 대안들보다 훨씬 더 뛰어난 확장성을 확보한다.
• 블록 단위의 적응형 스텝 사이즈 선택 덕분에 각 업데이트 단계에서 매개변수 공간 내 효과적인 이동 비율이 기존 메타휴리스틱 기법들보다 상당히 높다.
• 고차원 환경에서도 타당성과 효율성을 유지하며, 속도와 해 정확도 양면에서 기존 접근 방식을 뛰어넘는다.
• 다양한 문제 구성에서 다수의 단형 블록을 가진 수정된 기준 함수에 대한 실증 결과는 알고리즘의 강건성과 효율성을 확인한다.