[논문 리뷰] Bayesian experimental design using regularized determinantal point processes

Michał Dereziński, Feynman Liang외 1명|arXiv (Cornell University)|2019. 06. 10.

Optimal Experimental Design Methods참고 문헌 27인용 수 3

한 줄 요약

이 논문은 선형 회귀를 위한 다각도이고 정보가 풍부한 데이터 하위집합을 선택하기 위해 정규화된 결정성점과정(DPPs)을 사용하는 새로운 베이지안 실험 설계 프레임워크를 제안한다. 베이지안 최적성 기준(A, C, D, V)을 DPPs와 연결함으로써, 하위집합 크기 $k$가 $ Omega\left(\frac{d_{\mathbf{A}}}{\epsilon} + \frac{1}{\epsilon^2}\log\frac{1}{\epsilon}\right)$일 때 $(1+\epsilon)$-근사 최적 설계를 달성하는 효율적인 알고리즘을 개발한다. 이는 이전 방법에 비해 효율성과 근사 품질을 크게 향상시킨다.

ABSTRACT

In experimental design, we are given $n$ vectors in $d$ dimensions, and our goal is to select $k\ll n$ of them to perform expensive measurements, e.g., to obtain labels/responses, for a linear regression task. Many statistical criteria have been proposed for choosing the optimal design, with popular choices including A- and D-optimality. If prior knowledge is given, typically in the form of a $d imes d$ precision matrix $\mathbf A$, then all of the criteria can be extended to incorporate that information via a Bayesian framework. In this paper, we demonstrate a new fundamental connection between Bayesian experimental design and determinantal point processes, the latter being widely used for sampling diverse subsets of data. We use this connection to develop new efficient algorithms for finding $(1+ε)$-approximations of optimal designs under four optimality criteria: A, C, D and V. Our algorithms can achieve this when the desired subset size $k$ is $Ω(\frac{d_{\mathbf A}}ε + \frac{\log 1/ε}{ε^2})$, where $d_{\mathbf A}\leq d$ is the $\mathbf A$-effective dimension, which can often be much smaller than $d$. Our results offer direct improvements over a number of prior works, for both Bayesian and classical experimental design, in terms of algorithm efficiency, approximation quality, and range of applicable criteria.

연구 동기 및 목표

• 다양한 최적성 기준(A, C, D, V)에 대해 효율적인 알고리즘을 개발함으로써, 결정성점과정(DPPs)과의 새로운 연결 고리를 통해 베이지안 실험 설계를 수행한다.
• 정밀도 행렬 $\mathbf{A}$를 통해 표현된 사전 지식이 있는 고차원 선형 회귀에서 $k \ll n$의 정보가 풍부한 데이터 포인트를 선택하는 과제를 해결한다.
• 알고리즘 효율성, 근사 품질, 다양한 실험 설계 기준에 대한 적용 가능성 측면에서 이전 방법을 향상시킨다.

제안 방법

• 데이터 행렬 $\mathbf{X}$와 사전 정밀도 $\mathbf{A}$로부터 구성된 DPP 커널을 사용해, 베이지안 실험 설계와 정규화된 결정성점과정(DPPs) 사이의 기본적인 연결 고리를 활용한다.
• 반드시 최적의 하위집합 선택을 근사하기 위해, 준위가 있는 DPP $\mathrm{DPP}_{\mathrm{reg}}^{p}(\mathbf{X}, \mathbf{A})$를 사용하며, 이때 확률 벡터 $p$는 준위가 있는 정수기반 프로그래밍(SDP)을 풀어 구한다.
• 효율적인 근사 샘플링 확률 계산을 위해 1차 최적화 콘벡스 콘벡스 솔버(SCS)를 사용해 SDP를 해결한다.
• 두 단계 샘플링 전략을 도입한다: 먼저 학습된 확률을 기반으로 DPP에서 샘플링하고, 그 다음에 하위집합 크기 $k$에 따라 거부 또는 잘라내기 방법을 통해 조건부로 샘플링한다.
• DPP 이론과 행렬 농도 이론의 이론적 보장을 활용해, $(1+\epsilon)$-근사에 필요한 샘플 크기 $k$를 지배하는 효과적 차원 $d_{\mathbf{A}}$를 경계한다.
• 심지어 SDP 없이도 균일한 DPP 샘플링이 기준 균일 i.i.d. 샘플링보다 향상됨을 보이며, 다양성 자체가 설계 품질을 향상시킴을 입증한다. 또한, SDP 최적화 DPP는 탐욕적 방법과 동등하거나 略적으로 뛰어난 성능을 보인다.

실험 결과

연구 질문

• RQ1 베이지안 실험 설계와 결정성점과정 사이에 원칙적인 연결 고리를 설정함으로써 효율적인 하위집합 선택을 가능하게 할 수 있는가?
• RQ2 A, C, D, V 기준 하에서 $(1+\epsilon)$-근사 최적 설계를 달성하기 위해 필요한 최소 하위집합 크기 $k$는 얼마인가?
• RQ3 $\mathbf{A}$-효과적 차원 $d_{\mathbf{A}}$는 샘플 복잡도와 근사 보장에 어떻게 영향을 미치는가?
• RQ4 정규화된 DPPs를 사용해 탐욕적 및 균일 샘플링 전략을 능가하는 알고리즘을 설계할 수 있는가?
• RQ5 이론적 상한 $\mathrm{OPT}_k$는 $f_{\mathbf{A}}(\mathbf{X}_S^\top\mathbf{X}_S)/f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ 비율에 의해 실질적으로 날카로운가?

주요 결과

• SDP 최적화 DPP 샘플링을 사용한 제안된 방법은 하위집합 크기 $k = \Omega\left(\frac{d_{\mathbf{A}}}{\epsilon} + \frac{1}{\epsilon^2}\log\frac{1}{\epsilon}\right)$일 때, 네 가지 최적성 기준(A, C, D, V) 모두에 대해 $(1+\epsilon)$-근사 최적 설계를 달성한다.
• SDP를 사용한 방법은 탐욕적 하향식 및 예측 길이 샘플링보다 뛰어나며, 런타임은 유사한 수준을 유지하면서 탐욕적 성능을 따라잡거나 略적으로 초월한다.
• 심지어 SDP 없이도 균일한 DPP 샘플링이 균일한 i.i.d. 샘플링보다 향상되며, 다양성 자체가 설계 품질을 향상시킴을 보여준다.
• 실험 결과는 $\mathrm{OPT}_k$가 기준값 $f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$에 비해 작은 상수 요인(종종 0.5 이하) 내에 있음을 보여주며, 이는 이론적 상한이 타당함을 지지한다.
• $f_{\mathbf{A}}(\mathbf{X}_S^\top\mathbf{X}_S)/f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ 비율은 테스트된 모든 데이터셋에서 0.5 이하를 유지하며, 강력한 실용적 성능을 나타낸다.
• SDP를 해결하기 위해 SCS를 사용함으로써, 빠르고 증명 가능한 수렴을 갖는 최적화가 가능해져, 실세계 데이터셋에 대한 확장성이 확보된다.