[논문 리뷰] Practical Bayesian Optimization over Sets

Jungtaek Kim, Michael McCourt외 3명|arXiv (Cornell University)|2019. 05. 23.

Gaussian Processes and Bayesian Inference인용 수 1

한 줄 요약

이 논문은 순열 불변성과 다양한 크기의 집합을 처리할 수 있도록 하는 새로운 집합 커널을 사용하여, 입력이 집합인 블랙박스 함수를 위한 실용적인 베이지안 최적화 방법을 제안한다. 계산 비용을 줄이기 위해 커널의 확률적 근사와 대칭을 고려한 할당 함수 최적화 기법을 도입하여, 수치 실험에서 기존 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

We propose a practical Bayesian optimization method over sets, to minimize a black-box function that can take a set as a single input. Because set inputs are permutation-invariant and variable-length, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance and permit sets of variable size, but this comes at a greater computational cost. To reduce this burden, we propose two key components: (i) a more efficient probabilistic approximation which is still positive-definite and is an unbiased estimator of the true set kernel with upper-bounded variance in terms of the number of subsamples, (ii) a constrained acquisition function optimization over sets, which uses symmetry of the feasible region that defines a set input. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods in various applications.

연구 동기 및 목표

• 입력이 순열 불변성과 변형 가능한 길이를 가지는 집합인 블랙박스 함수 최적화 문제를 다루기 위해, 기존의 벡터 기반 베이지안 최적화 방법이 부적절한 상황을 해결한다.
• 집합 원소 간의 유사도를 포괄하면서도 순열 불변성을 강제하고, 다양한 크기의 집합을 지원하는 집합 커널을 개발한다.
• 전체 집합 커널 평가의 높은 계산 비용을 줄이기 위해, 분산이 유계인 양의 정부호 근사로 확률적 근사를 도입한다.
• 집합 입력 영역의 대칭성을 활용하여, 집합에 대한 할당 함수 최적화를 효율적으로 수행할 수 있도록 한다.
• 다양한 벤치마크 응용 분야에서 제안된 방법이 기존 접근법보다 뛰어난 성능을 보임을 경험적으로 검증한다.

제안 방법

• 순열 불변성을 강제하고 다양한 크기의 집합을 지원하기 위해 원소 간의 유사도를 누적하는 집합 커널을 제안한다.
• 분산이 유계이며 양의 정부호를 유지하는 확률적 근사를 도입하여, 부분 샘플 수에 대해 상한이 존재하는 비편향 추정기로 집합 커널을 근사한다.
• 집합 입력의 가능 영역의 대칭성을 활용하여 효율성을 높이는 제약 조건이 있는 할당 함수 최적화 전략을 채택한다.
• 집합 커널을 사용하는 가우시안 프로세스를 서면 모델로 활용하여 집합에 대한 베이지안 최적화를 이끌어낸다.
• 할당 함수 최적화에 대해 대칭을 고려한 최적화 기법을 적용하여 검색 공간과 계산 부담을 줄인다.
• 서면 모델링, 할당 함수 최대화, 함수 평가를 순차적으로 통합하는 최적화 루프를 사용하여 해를 점진적으로 향상시킨다.

실험 결과

연구 질문

• RQ1 베이지안 최적화에서 순열 불변성과 다양한 크기의 집합 입력을 지원하기 위해 집합 커널을 설계할 수 있는가?
• RQ2 전체 집합 커널 평가의 높은 계산 비용을 줄이면서도 양의 정부호성과 같은 통계적 성질을 유지할 수 있는가?
• RQ3 집합 입력의 가능 영역 내 대칭성을 활용하여 할당 함수 최적화를 가속화할 수 있는가?
• RQ4 제안된 방법은 집합 기반 최적화 문제에서 기존의 베이지안 최적화 접근법과 비교해 수렴 속도와 해 품질 측면에서 어떻게 성능을 내는가?
• RQ5 다양한 응용 분야에서 집합 입력을 가진 문제에 대해 제안된 방법의 경험적 성능은 어떠한가?

주요 결과

• 제안된 방법은 집합 기반 블랙박스 함수에 대해 기존의 기준 방법들보다 더 뛰어난 최적화 성능을 달성한다.
• 집합 커널의 확률적 근사는 통계적 타당성(양의 정부호성)을 유지하며, 부분 샘플 수에 대해 분산이 유계인 추정기이다.
• 대칭을 고려한 할당 함수 최적화 기법은 집합 입력의 불변성 구조를 활용하여 계산 비용을 크게 줄인다.
• 다양한 수치 실험에서 수렴 속도 향상과 최종 해 품질 향상이 일관되게 관찰된다.
• 경험적 결과는 집합 커널과 효율적인 최적화 전략의 조합이, 벡터 기반 또는 비대칭적 접근 대비 뛰어난 성능을 내는 것으로 나타났다.