[논문 리뷰] A warped kernel improving robustness in Bayesian optimization via random embeddings

Mickaël Binois, David Ginsbourger외 1명|arXiv (Cornell University)|2014. 11. 13.

Advanced Multi-Objective Optimization Algorithms참고 문헌 8인용 수 5

한 줄 요약

이 논문은 임베딩된 점의 부피와 차원 문제를 줄이기 위해 변형된 커널 $k_{\Psi}$를 제안한다. Random Embedding Bayesian Optimization (REMBO)에서, 초입방체 경계에 투영된 점들을 임베딩 부분공간으로 다시 변형함으로써 저차원 커널 성질을 유지하면서도 중복 평가를 방지함으로써 강건성을 향상시킨다. 내재 차원이 6인 25차원 테스트 문제에서 $k_{\mathcal{Y}}$와 $k_{\mathcal{X}}$를 능가하는 성능을 보였다.

ABSTRACT

This works extends the Random Embedding Bayesian Optimization approach by integrating a warping of the high dimensional subspace within the covariance kernel. The proposed warping, that relies on elementary geometric considerations, allows mitigating the drawbacks of the high extrinsic dimensionality while avoiding the algorithm to evaluate points giving redundant information. It also alleviates constraints on bound selection for the embedded domain, thus improving the robustness, as illustrated with a test case with 25 variables and intrinsic dimension 6.

연구 동기 및 목표

• 기존 REMBO 커널의 고차원, 저내재 차원 문제에서의 강건성 한계를 해결하기 위해.
• 초입방체 영역에서 비단사성 볼록 투영으로 인한 중복 평가를 줄이기 위해.
• 더 큰 임베딩 도메인을 허용하면서도 저차원 커널 효율성을 유지하기 위해.
• 단일 랜덤 임베딩을 통해 $k_{\mathcal{Y}}$의 아티팩트와 $k_{\mathcal{X}}$의 차원 문제를 완화함으로써 최적화 성능을 향상시키기 위해.
• 수렴 성능을 희생시키지 않고 저차원 임베딩 공간 $\mathcal{Y}$의 안전하고 더 큰 도메인 선택을 가능하게 하기 위해.

제안 방법

• 임베딩 부분공간 $\operatorname{Ran}(\mathbf{A})$로 점 $\mathbf{y} \in \mathcal{Y}$를 투영한 후, 볼록 투영을 통해 $[-1,1]^D$에 매핑하는 변형 함수 $\Psi(\mathbf{y})$를 제안한다.
• 점 $\mathcal{X}$ 외부에 있는 경우, $\Psi$는 볼록 투영을 $\operatorname{Ran}(\mathbf{A})$로 후진 투영하고 원점에서 경계 교차점으로 향하는 사각형 방향으로 늘린다.
• 변형된 점을 기반으로 작동하는 새로운 커널 $k_{\Psi}(\mathbf{y}, \mathbf{y}') = \exp\left( -\| \Psi(\mathbf{y}) - \Psi(\mathbf{y}') \|_D^2 / (2l^2) \right)$를 정의한다.
• 실험에서 최대우도 기반으로 초모수를 추정한 등방성 Matérn 5/2 커널을 사용한다.
• 초기 설계에 $\Psi$를 적용하여 $\mathcal{X}$ 내에서 다양성을 확보하고 $k_{\Psi}$에 대한 반복된 점을 방지한다.
• 공정한 비교를 위해 $k_{\mathcal{Y}}$, $k_{\mathcal{X}}$, $k_{\Psi}$ 간에 일관된 평가 예산과 기대 개선 최대화 전략을 적용한다.

실험 결과

연구 질문

• RQ1 임베딩된 점의 기하학적 변형이 고차원, 저내재 차원 문제에서 REMBO의 강건성 향상에 기여하는가?
• RQ2 제안된 $k_{\Psi}$ 커널이 $\mathcal{X}$ 내에서 비단사성 투영으로 인한 중복 평가를 줄이는가?
• RQ3 $k_{\Psi}$를 사용할 경우 성능 저하 없이 임베딩 도메인 $\mathcal{Y}$를 안전하게 확대할 수 있는가?
• RQ4 $k_{\mathcal{Y}}$와 $k_{\mathcal{X}}$에 비해 $k_{\Psi}$의 수렴 속도와 최적성 갭은 어떻게 다른가?
• RQ5 변형 메커니즘이 고차원 아티팩트를 피하면서도 저차원 커널 효율성을 유지하는가?

주요 결과

• 제안된 $k_{\Psi}$ 커널은 $D=25$, $d=6$, 250회의 평가를 가진 Hartmann6 테스트 함수에서 $k_{\mathcal{Y}}$와 $k_{\mathcal{X}}$를 모두 능가한다.
• $k_{\mathcal{Y}}$ 커널은 비단사성 투영로 인해 $\mathcal{Y}$의 변에서 반복 평가가 발생하여 최적화 예산을 낭비한다.
• $k_{\mathcal{X}}$ 커널은 $\mathcal{X}$의 면과 모서리에서 중복된 점을 탐색하는 경향을 보이며, 최적성 갭을 증가시킨다.
• $k_{\Psi}$ 커널은 임베딩 부분공간에서 저차원적이고 단사적인 표현을 유지함으로써 두 약점 모두를 피한다.
• $\mathcal{Y} = [-\sqrt{d}, \sqrt{d}]^d$일 때, $k_{\Psi}$는 기준선보다 유의미하게 낮은 중앙값 최적성 갭을 달성한다.
• 변형은 성능 저하 없이 더 큰 $\mathcal{Y}$ 도메인을 허용하여 임베딩 도메인 선택에 대한 강건성을 향상시킨다.