[논문 리뷰] Kernels over Sets of Finite Sets using RKHS Embeddings, with Application to Bayesian (Combinatorial) Optimization

Poompol Buathong, David Ginsbourger외 3명|Bern Open Repository and Information System (University of Bern)|2019. 10. 09.

Water Systems and Optimization참고 문헌 50인용 수 7

한 줄 요약

이 논문은 유한 집합의 집합에 대해 재생 커널 힐버트 공간(RKHS) 임bedding을 사용하여 딥 임베딩(DE) 커널을 도입한다. 이는 베이지안 최적화에서 조준(jitter) 없이 엄밀한 양의 정부호 커널을 보장한다. 더블 서머(DS) 커널과는 달리, 이는 일반적으로 엄밀한 양의 정부호성을 갖지 못하지만, 제안된 DE 커널은 조합 최적화에서 강건성과 향상된 수렴성을 보장한다. 이는 합성 문제와 실제 기계공학 및 지하수리학 문제에서 검증되었다.

ABSTRACT

We focus on kernel methods for set-valued inputs and their application to Bayesian set optimization, notably combinatorial optimization. We investigate two classes of set kernels that both rely on Reproducing Kernel Hilbert Space embeddings, namely the ``Double Sum'' (DS) kernels recently considered in Bayesian set optimization, and a class introduced here called ``Deep Embedding'' (DE) kernels that essentially consists in applying a radial kernel on Hilbert space on top of the canonical distance induced by another kernel such as a DS kernel. We establish in particular that while DS kernels typically suffer from a lack of strict positive definiteness, vast subclasses of DE kernels built upon DS kernels do possess this property, enabling in turn combinatorial optimization without requiring to introduce a jitter parameter. Proofs of theoretical results about considered kernels are complemented by a few practicalities regarding hyperparameter fitting. We furthermore demonstrate the applicability of our approach in prediction and optimization tasks, relying both on toy examples and on two test cases from mechanical engineering and hydrogeology, respectively. Experimental results highlight the applicability and compared merits of the considered approaches while opening new perspectives in prediction and sequential design with set inputs.

연구 동기 및 목표

• 기존의 집합 커널, 예를 들어 더블 서머(DS) 커널과 같이 엄밀한 양의 정부호성이 확보되지 않는 문제를 해결함으로써 안정적인 베이지안 최적화를 가능하게 한다.
• 기본 집합 커널의 표준 거리와 힐버트 공간에서의 레이디얼 커널을 연결함으로써, 딥 임베딩(DE) 커널이라는 새로운 커널 클래스를 개발한다.
• 세트 값 입력을 가진 조합적이고 비용이 많이 드는 블랙박스 문제에 대해 강건하고 조준이 없는 베이지안 최적화를 가능하게 한다.
• 기계공학 및 지하수리학 분야의 실제 적용 사례와 합성 기준 테스트에서 예측 및 최적화 작업에서 DE 커널의 효과성을 입증한다.
• RKHS 기반의 집합 커널 프레임워크에서 하이퍼파ram터 피팅 및 커널 파rametrization에 대한 이론적 및 실용적 지침을 제공한다.

제안 방법

• 유한 집합을 힐버트 공간으로 매핑하기 위해 재생 커널 힐버트 공간(RKHS) 임베딩을 사용함으로써, 집합 입력에 기반한 커널 기반 학습을 가능하게 한다.
• 기본 컨셉으로 더블 서머(DS) 커널을 정의하며, 이는 유한 집합의 원소 간의 쌍별 유사도에 의존하지만 일반적으로 엄밀한 양의 정부호성을 갖지 못한다는 점을 언급한다.
• 기본 커널(예: DS)에 의해 유도되는 힐버트 공간 거리에 레이디얼 커널(예: RBF)을 적용함으로써, 넓은 하위클래스에서 엄밀한 양의 정부호성을 보장하는 딥 임베딩(DE) 커널을 제안한다.
• RKHS 임베딩의 이론적 성질을 활용하여, 기본 커널이 특징적(characteristic)일 경우 DE 커널이 엄밀한 양의 정부호성을 갖는다는 것을 증명한다. 이는 안정적인 GP 추론을 가능하게 한다.
• Expected Improvement(EI)를 사용한 베이지안 최적화를 DE 및 DS 커널을 활용해 구현하고, 여러 시행 동안 수렴성과 강건성을 비교한다.
• 기하학적 제약 조건을 적용한 하이퍼파ram터 피팅을 수행하고, 분석 함수 및 기계공학 및 지하수리학 적용 분야의 실제 데이터셋을 활용한 수치 실험을 통해 검증한다.

실험 결과

연구 질문

• RQ1 RKHS 임베딩을 사용하여 유한 집합의 집합에 대해 엄밀한 양의 정부호성을 갖는 커널을 구성할 수 있는가? 이는 기존 DS 커널의 한계를 극복할 수 있는가?
• RQ2 조준이 없는 조건에서 DE 커널은 DS 커널에 비해 최적화 성능과 강건성 측면에서 어떻게 비교되는가?
• RQ3 커널 선택이 조합 최적화에서 수렴 속도와 전역 최적해 식별 능력에 미치는 영향은 어떠한가?
• RQ4 하이퍼파ram터의 범위와 파arametrization는 실제 적용에서 DE 및 DS 커널의 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 DE 커널은 다양한 부분집합의 원소 수와 마킹된 점 집합을 가진 문제로 얼마나 일반화될 수 있는가?

주요 결과

• DS 커널을 기반으로 한 DE 커널은 넓은 하위클래스에서 엄밀한 양의 정부호성을 보이며, 가우시안 프로세스 추론에서 조준의 필요성을 제거한다.
• 오염원 위치 특정 문제에서, EI-DE 커널 방법은 두 시나리오 모두에서 모든 시행에서 전역 최적해를 성공적으로 확보하였으며, DS 기반 EI에 비해 강건성과 일관성에서 뛰어난 성능을 보였다.
• DS 커널은 초기 수렴 속도가 빠르지만, 조준 조정이 정교하게 필요하다. 부적절한 조준 수준은 모델 정확도와 최적화 성능을 악화시켰다.
• 중위수 진전 곡선은 EI-DE가 특히 후반 최적화 단계에서 더 신뢰성 있게 작동함을 보여주었으며, 95% 분위수 곡선은 더 나은 최악의 경우 성능을 나타내었다.
• 제안된 DE 커널 프레임워크는 고비용 블랙박스 조합 최적화에 대해 강건하고 효과적이며, 기계공학 및 지하수리학 테스트 케이스에서 성공적으로 적용되었다.
• 이 방법은 다양한 부분집합의 원소 수와 마킹된 점 집합으로도 자연스럽게 확장 가능하여, 불확실성 정량화 및 순차적 설계 분야에서 더 넓은 적용 가능성을 제공한다.