[논문 리뷰] Bayesian Optimization over Sets.

Jungtaek Kim, Michael McCourt외 3명|arXiv (Cornell University)|2019. 05. 23.

Machine Learning and Algorithms참고 문헌 23인용 수 9

한 줄 요약

이 논문은 순열 불변성과 다양한 크기의 집합을 처리할 수 있도록 보장하는 새로운 집합 커널을 사용하여, 입력이 집합인 블랙박스 함수를 위한 베이지안 최적화 방법을 제안한다. 계산 비용을 줄이기 위해, 양의 정부호성과 편향이 없는 양의 정부호 근사법을 도입하여, 수치 실험에서 기존 방법들을 능가한다.

ABSTRACT

We propose a Bayesian optimization method over sets, to minimize a black-box function that can take a set as single input. Because set inputs are permutation-invariant and variable-length, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance and permit sets of variable size, but this comes at a greater computational cost. To reduce this burden, we propose a more efficient probabilistic approximation which we prove is still positive definite and is an unbiased estimator of the true set kernel. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods in various applications.

연구 동기 및 목표

• 입력이 순열 불변성과 다양한 길이를 갖는 집합인 블랙박스 함수 최적화 문제를 해결하기 위해.
• 기존의 표준 벡터 기반 가우시안 프로세스와 달리, 집합의 구조적 특성을 고려한 서로서티 모델링 방법을 개발하기 위해.
• 양의 정부호성과 같은 이론적 성질을 유지하면서도 집합 커널 평가의 높은 계산 비용을 줄이기 위해.
• 기존 방법이 실패하거나 성능이 열등한 벤치마크 응용 분야에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 집합의 원소들 간의 유사도를 누적하여 순열 불변성을 보장하고 다양한 크기의 입력을 지원하는 집합 커널을 도입한다.
• 집합 내 원소 간의 쌍별 유사도를 집계하는 대칭 함수를 사용하여 커널을 정의한다.
• 전체 커널을 추정하기 위해 원소의 부분집합을 샘플링하는 확률적 근사를 제안하여 계산 복잡도를 감소시킨다.
• 이 근사는 양의 정부호성을 보장하고 진짜 집합 커널의 불편 추정량임을 증명하여 유효한 베이지안 추론을 보장한다.
• 이 커널을 가우시안 프로세스 프레임워크 내에서 사용하여 서로서티 모델을 구축하고, 베이지안 최적화를 위한 획득 함수 최적화를 가능하게 한다.
• 표준 획득 함수(예: 기대 개선도)와 함께 서로서티 모델을 통합하여 집합에 대한 탐색을 이끌어낸다.

실험 결과

연구 질문

• RQ1 베이지안 최적화에서 순열 불변성과 다양한 길이의 입력을 유지하면서 집합 입력을 모델링할 수 있는 커널을 설계할 수 있는가?
• RQ2 전체 집합 커널 평가의 높은 계산 비용을 이론적 보장(예: 양의 정부호성)을 훼손하지 않고 줄일 수 있는가?
• RQ3 제안된 방법은 기존의 벡터화된 입력을 사용하는 표준 베이지안 최적화보다 집합 기반 최적화 작업에서 성능이 뛰어나게 되는가?
• RQ4 집합 커널의 확률적 근사는 계산적으로 효율적이면서도 통계적으로 타당한가?

주요 결과

• 제안된 집합 커널은 다양한 크기의 집합에 대해 순열 불변 함수를 정확하게 모델링할 수 있으며, 정확한 서로서티 모델링을 가능하게 한다.
• 집합 커널의 확률적 근사는 양의 정부호성과 진짜 커널의 불편 추정량임을 증명하였다.
• 여러 수치 실험에서 기준 방법 대비 뛰어난 최적화 성능을 달성하였다.
• 근사의 계산 효율성 덕분에 전체 커널 계산이 가능한 크기보다 더 큰 집합에 대한 실용적 구현이 가능해졌다.