[논문 리뷰] On the choice of the low-dimensional domain for global optimization via random embeddings

Mickaël Binois, David Ginsbourger외 1명|arXiv (Cornell University)|2017. 04. 14.

Advanced Multi-Objective Optimization Algorithms참고 문헌 64인용 수 48

한 줄 요약

이 논문은 고차원 블랙박스 최적화 문제에서 무작위 임bedding를 통한 글로벌 최적화를 위한 적절한 저차원 도메인을 선택하는 데 있어 핵심적인 과제를 다룹니다. 무작위 임bedding의 기하학적 성질을 분석함으로써, 원래의 상자 제약 조건의 직교 투영에 기반한 최소이자 밀도 있는 검색 도메인을 정의하는 개선된 임bedding 절차를 제안합니다. 이는 특히 평가 예산이 제한된 상황에서 베이지안 최적화의 강건성과 성능을 크게 향상시킵니다.

ABSTRACT

The challenge of taking many variables into account in optimization problems may be overcome under the hypothesis of low effective dimensionality. Then, the search of solutions can be reduced to the random embedding of a low dimensional space into the original one, resulting in a more manageable optimization problem. Specifically, in the case of time consuming black-box functions and when the budget of evaluations is severely limited, global optimization with random embeddings appears as a sound alternative to random search. Yet, in the case of box constraints on the native variables, defining suitable bounds on a low dimensional domain appears to be complex. Indeed, a small search domain does not guarantee to find a solution even under restrictive hypotheses about the function, while a larger one may slow down convergence dramatically. Here we tackle the issue of low-dimensional domain selection based on a detailed study of the properties of the random embedding, giving insight on the aforementioned difficulties. In particular, we describe a minimal low-dimensional set in correspondence with the embedded search space. We additionally show that an alternative equivalent embedding procedure yields simultaneously a simpler definition of the low-dimensional minimal set and better properties in practice. Finally, the performance and robustness gains of the proposed enhancements for Bayesian optimization are illustrated on numerical examples.

연구 동기 및 목표

• 고차원 글로벌 최적화에 무작위 임bedding를 사용할 때 효과적인 저차원 검색 도메인을 정의하는 데 어려움을 해결한다.
• 너무 제한적인 도메인(전역 최적해를 놓칠 위험 있음)과 너무 넓은 도메인(수렴 속도 저하) 사이의 상충 관계를 극복한다.
• 무작위 임bedding 하에서 원래 검색 공간을 완전히 커버할 수 있도록 보장하는 수학적으로 타당한 최소 밀도 집합을 저차원 도메인에 제공한다.
• 특히 평가 예산이 제한된 상황에서 무작위 임bedding에 의존하는 베이지안 최적화 방법의 실용적 성능과 강건성을 향상시킨다.
• 저차원 도메인 정의를 단순화하고 최적화 효율성 및 신뢰성을 향상시키는 대안적 임bedding 절차를 제안한다.

제안 방법

• 원래의 상자 제약 조건에 대한 무작위 임bedding 사상 하에서의 전상자(preimage)로 최소 저차원 집합을 정의함으로써, 모든 타당한 해가 커버됨을 보장한다.
• 고차원 도메인의 직교 투영에서의 역투영을 활용한 대안적 임bedding 절차를 도입하여 저차원 도메인 정의를 단순화한다.
• 무작위 투영과 볼록 기하학의 성질을 활용하여 임bedded 도메인을 조립형(zonotope)으로 특성화한다.
• 새로운 임bedding을 사용하여 원래의 해 공간을 높은 확률로 유지하는 밀도 있고 유한한 저차원 검색 공간을 정의한다.
• 개선된 도메인 선택을 REMBO(Random EMbedding Bayesian Optimization) 프레임워크 내에서 적용하며, 가우시안 프로세스를 사용해 서rogate 모델링을 수행한다.
• 다양한 차원과 예산에서 표준 테스트 함수를 사용해 성능을 비교하며, 최적성 갭과 수렴 속도를 평가한다.

실험 결과

연구 질문

• RQ1 무작위 임bedding 하에서 원래 검색 공간을 완전히 커버할 수 있도록 보장하는 저차원 도메인의 최소 밀도 집합은 무엇인가요?
• RQ2 저차원 도메인의 선택이 무작위 임bedding 기반 최적화의 수렴성과 강건성에 어떤 영향을 미치나요?
• RQ3 대안적 임bedding 절차는 저차원 검색 도메인 정의를 단순화하면서 최적화 성능를 향상시킬 수 있나요?
• RQ4 더 정교하게 정의된 저차원 도메인을 사용하면 기능 평가 수가 제한된 베이지안 최적화에서 더 나은 성능을 얻을 수 있나요?
• RQ5 제안된 방법은 표준 REMBO 및 기타 베이스라인(예: 무작위 검색, EBO)과 비교해 강건성과 수렴 속도 측면에서 어떻게 다릅니까?

주요 결과

• 무작위 임bedding 하에서 원래 검색 공간을 완전히 커버할 수 있도록 보장하는 최소 저차원 집합은 임bedding 사상 하에서 상자 제약 조건의 전상자(preimage)이다.
• 직교 투영과 역투영을 기반으로 한 제안된 대안적 임bedding 절차는 저차원 도메인 정의를 더 단순하고 직관적으로 만든다.
• 새로운 도메인 정의로 인해 강건성이 크게 향상되어 평가 예산이 제한된 상황에서도 전역 최적해를 놓칠 위험이 감소한다.
• 수치 실험 결과, 개선된 도메인 선택은 표준 REMBO 및 기타 베이스라인(예: RO, EBO)보다 수렴 속도와 중앙값 최적성 갭 측면에서 뛰어난 성능을 보이며, 특히 고차원 문제에서 두드러진다.
• Branin, Hartman6, Borehole, Cola와 같은 다수의 테스트 함수에서 성능 향상이 일관되게 관찰되며, 고차원 또는 비분리된 설정에서 가장 큰 향상이 이루어진다.
• 변수 수 D가 증가할수록에도 강력한 성능 유지를 보이며, 차원 증가에 대한 스케일러빌리티와 내성적 저항성을 입증한다.