[논문 리뷰] Derivative-free Efficient Global Optimization on High-dimensional Simplex.

Priyam Das|arXiv (Cornell University)|2016. 04. 28.

Advanced Optimization Algorithms Research참고 문헌 34인용 수 3

한 줄 요약

이 논문은 고차원 단형태 파arameter 공간에서의 전역 최적화를 위한 도함수 기반, 결정론적, 탐욕적인 알고리즘을 제안한다. 각 반복에서 독립된 방향으로 가변 스텝 사이즈를 사용하여 탐색하며, 이는 차원 수에 비례하는 선형적인 병렬 처리를 가능하게 하여, 기준 단형태 문제에서 유전 알고리즘 대비 20–300배 빠른 속도 향상과 더 높은 해의 정확도를 달성한다.

ABSTRACT

In this paper, we develop a novel derivative-free deterministic greedy algorithm for global optimization of any objective function of parameters belonging to a unit-simplex. Main principle of the proposed algorithm is making jumps of varying step-sizes within the simplex parameter space and searching for the best direction to move in a greedy manner. Unlike most of the other existing methods of constraint optimization, here the objective function is evaluated at independent directions within an iteration. Thus incorporation of parallel computing makes it even faster. Requirement of parallelization grows only in the order of the dimension of the parameter space, which makes it more convenient for solving high-dimensional optimization problems in simplex parameter space using parallel computing. A comparative study of the performances of this algorithm and other existing algorithms have been shown for some moderate and high-dimensional optimization problems along with some transformed benchmark test-functions on simplex. Around 20-300 folds improvement in computation time has been achieved using the proposed algorithm over Genetic algorithm with more accurate solution.

연구 동기 및 목표

• 도함수 정보가 제공되지 않는 고차원 전역 최적화 문제에 대한 도전 과제를 해결하기 위해.
• 기울기 또는 확률적 방법에 의존하지 않고, 효율적으로 매개변수 공간을 탐색할 수 있는 결정론적, 도함수 기반 알고리즘을 설계하기 위해.
• 매개변수 공간의 차원 수에 비례하여만 증가하는 평가 전략을 통해 확장 가능한 병렬 처리를 가능하게 하여 고차원 문제에서의 성능 향상을 위해.
• 단형태 제약 조건이 있는 최적화 문제에서 기존 히우리스틱 방법(예: 유전 알고리즘)보다 속도와 해의 정확도 측면에서 뛰어난 성능을 내기 위해.

제안 방법

• 알고리즘은 단형태 매개변수 공간 내에서 가변 스텝 사이즈를 사용해 유망한 영역을 효율적으로 탐색하기 위해 탐욕적이고 결정론적인 점프를 수행한다.
• 각 반복에서, 다수의 독립된 방향을 동시에 평가하여 병렬 계산을 가능하게 한다.
• 탐색 방향은 향상 가능성에 가장 높은 우선순위를 부여하는 탐욕 기준에 따라 선택된다.
• 모든 이동이 단위 단형태 내에 유지되어 타당성이 보장되며, 매개변수의 합이 항상 1이 되도록 제약 조건이 설정된다.
• 스텝 사이즈의 변화는 적응적 탐색을 가능하게 하며, 초기 단계에서는 큰 스텝을, 수렴 근처에서는 미세 조정을 수행한다.
• 알고리즘의 병렬 처리 전략은 함수 평가 횟수가 아니라 매개변수 공간의 차원에 비례하여 확장되므로 고차원 문제에 매우 효율적이다.

실험 결과

연구 질문

• RQ1 도함수 기반, 결정론적 알고리즘이 고차원 단형태 최적화에서 유전 알고리즘과 같은 확률적 방법보다 더 빠른 수렴 속도와 높은 정확도를 달성할 수 있는가?
• RQ2 독립된 방향의 병렬 평가를 사용할 경우, 알고리즘의 성능이 차원 수 증가에 따라 어떻게 변화하는가?
• RQ3 고정 스텝 또는 무작위 탐색 전략에 비해 가변 스텝 사이즈 점프는 수렴 속도와 해 품질 향상에 얼마나 기여하는가?
• RQ4 고차원 공간에서 효율적인 병렬 처리를 가능하게 하면서도 단형태 제약 조건을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 기준 단형태 테스트 함수에서 유전 알고리즘 대비 계산 시간을 20–300배 향상시켰다.
• 특히 고차원 환경에서 유전 알고리즘보다 더 정확한 해를 제공한다.
• 병렬 처리가 효율적으로 통합되어 있으며, 계산 요구량이 매개변수 공간의 차원 수에 비례하여만 증가한다.
• 각 반복에서 독립된 방향 평가를 통해 병렬 아키텍처에서 높은 부하 균형과 처리량을 달성할 수 있다.
• 탐욕적이고 결정론적인 탐색 방향 선택은 확률적 또는 히우리스틱 대안보다 더 빠른 수렴을 이끈다.
• 중간에서 고차원 문제에 걸쳐 강력한 성능을 보이며, 변환된 기준 테스트 함수에서 일관된 성능 향상을 보였다.