[논문 리뷰] Bayesian Optimization with Approximate Set Kernels

Jungtaek Kim, Michael McCourt외 3명|arXiv (Cornell University)|2019. 05. 23.

Gaussian Processes and Bayesian Inference참고 문헌 43인용 수 4

한 줄 요약

이 논문은 집합을 입력으로 가지는 블랙박스 함수를 위한 베이지안 최적화 프레임워크를 제안하며, 계산 비용을 줄이기 위해 순열 불변 집합 커널의 효율적이고 편향 없는 근사치를 사용한다. 이 방법은 대칭을 고려한 획득 함수 최적화를 통해 집합에 대한 효과적인 최적화를 가능하게 하며, 하이퍼파ram터 튜닝, 클러스터링 초기화, 포인트 클라우드에서의 활성 근접 이웃 검색에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a practical Bayesian optimization method over sets, to minimize a black-box function that takes a set as a single input. Because set inputs are permutation-invariant, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance, but this comes at a greater computational cost. To reduce this burden, we propose two key components: (i) a more efficient approximate set kernel which is still positive-definite and is an unbiased estimator of the true set kernel with upper-bounded variance in terms of the number of subsamples, (ii) a constrained acquisition function optimization over sets, which uses symmetry of the feasible region that defines a set input. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods.

연구 동기 및 목표

• 입력이 순열 불변인 집합인 블랙박스 함수 최적화 문제를 다루며, 기존의 벡터 기반 가우시안 프로세스 방법이 잘 다루지 못하는 문제를 해결하기 위해.
• 진정한 집합 커널의 양의 정부호이자 편향 없는 근사치를 사용하여 집합 입력을 위한 계산적으로 효율적인 서로서바 모델링 기법을 개발하기 위해.
• 입력 공간의 대칭성을 활용하여 집합 상의 획득 함수 최적화를 효과적으로 수행하기 위해.
• 반복 횟수 기반 수렴 품질을 보장하는 이론적 누적 위험 한계를 제공하기 위해.
• 실세계 응용 분야인 클러스터링 초기화 및 3D 포인트 클라우드에서의 활성 근접 이웃 검색에서의 방법의 효과성을 입증하기 위해.

제안 방법

• 집합 원소 간 유사도를 누적하여 가우시안 프로세스 회귀에서 순열 불변성을 강제하는 집합 커널을 제안한다.
• 무작위 부분집합 추출을 사용하여 계산 비용을 $\mathcal{O}(n^2m^2d)$ 에서 $\mathcal{O}(n^2L^2d)$ 로 감소시키는 근사 집합 커널을 도입하며, $L < m$ 인 경우에 비해 편향 없고 분산이 유계이다.
• 입력 공간의 대칭성을 활용하여 효율성을 높이는 제약 조건이 부여된 획득 함수 최적화 전략을 채택한다.
• 집합 입력의 대칭 가능한 가용 영역에서 획득 함수를 효율적으로 최적화하기 위해 기각 샘플링을 사용한다.
• 탐색과 이용의 균형을 조절하는 조정 하이퍼파ram터 $\beta_n$ 을 가진 가우시안 프로세스 상한 신뢰도(upper confidence bound, GP-UCB)를 획득 함수로 사용한다.
• 반복 횟수 기반으로 수렴을 보장하는 누적 위험 한계에 대한 이론적 분석을 제공한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 회귀에 대해 계산적으로 효율적이고 순열 불변인 커널을 구성할 수 있는가?
• RQ2 정확한 집합 커널 계산의 높은 계산 비용을 통계적 일致성 손실 없이 줄일 수 있는가?
• RQ3 입력 공간의 대칭성을 활용하면 집합 상의 획득 함수 최적화를 효율적으로 수행할 수 있는가?
• RQ4 제안된 방법이 실세계의 집합 기반 최적화 과제에서 기준 모델보다 더 뛰어난 최적화 성능을 달성하는가?
• RQ5 제안된 집합 기반 베이지안 최적화 프레임워크의 이론적 수렴 행동은 어떠한가?

주요 결과

• 소프트 $k$-means 클러스터링에 대한 하이퍼파ram터 튜닝에서 제안된 방법은 더 적은 반복 횟수로 더 낮은 목적 함수 값을 달성하여 기준 모델을 능가한다.
• ModelNet40에서의 활성 근접 이웃 검색에서, 20회의 반복 후에 메트릭으로 측정한 카프너 거리(Chamfer distance)는 $38.422 \pm 12.807$ 를 기록하며, DeepSets 기준 모델을 크게 능가한다.
• 근사 집합 커널은 $L=20$ 일 때 $104.330 \times 10^3$ 초에서 $L=1$ 일 때 $1.133 \times 10^3$ 초로 계산 시간을 단축시키면서도 낮은 오차를 유지한다.
• 평균, 최대값 또는 합 집계를 사용하는 DeepSets 대비, 근접 이웃 검색 정확도에서 10%에서 20%의 향상을 달성한다.
• 실험 결과는 근사 커널이 편향 없음을 확인하였으며, 부분집합 수 $L$ 기반으로 분산 상한이 존재함을 입증한다.
• 이론적 분석 결과, 이 프레임워크는 반복 횟수 기반으로 수렴을 보장하는 누적 위험 한계를 확보한다.