[論文レビュー] Bayesian experimental design using regularized determinantal point processes

Michał Dereziński, Feynman Liang+1 more|arXiv (Cornell University)|Jun 10, 2019

Optimal Experimental Design Methods参考文献 27被引用数 3

ひとこと要約

本稿では、線形回帰における多様で情報量の多いデータサブセットの選択を目的とした、正則化された行列式ポイントプロセス（DPP）を用いた新しいベイジアン実験設計フレームワークを提案する。ベイジアン最適性基準（A, C, D, V）をDPPと結びつけることで、サブセットサイズ $k$ が $\Omega\left(\frac{d_{\mathbf{A}}}{\epsilon} + \frac{1}{\epsilon^2}\log\frac{1}{\epsilon}\right)$ のとき、(1+ε)-近似最適設計を達成する効率的なアルゴリズムを構築した。従来の手法と比較して、計算効率と近似品質の両面で顕著な向上を実現した。

ABSTRACT

In experimental design, we are given $n$ vectors in $d$ dimensions, and our goal is to select $k\ll n$ of them to perform expensive measurements, e.g., to obtain labels/responses, for a linear regression task. Many statistical criteria have been proposed for choosing the optimal design, with popular choices including A- and D-optimality. If prior knowledge is given, typically in the form of a $d imes d$ precision matrix $\mathbf A$, then all of the criteria can be extended to incorporate that information via a Bayesian framework. In this paper, we demonstrate a new fundamental connection between Bayesian experimental design and determinantal point processes, the latter being widely used for sampling diverse subsets of data. We use this connection to develop new efficient algorithms for finding $(1+ε)$-approximations of optimal designs under four optimality criteria: A, C, D and V. Our algorithms can achieve this when the desired subset size $k$ is $Ω(\frac{d_{\mathbf A}}ε + \frac{\log 1/ε}{ε^2})$, where $d_{\mathbf A}\leq d$ is the $\mathbf A$-effective dimension, which can often be much smaller than $d$. Our results offer direct improvements over a number of prior works, for both Bayesian and classical experimental design, in terms of algorithm efficiency, approximation quality, and range of applicable criteria.

研究の動機と目的

• A, C, D, V という複数の最適性基準を対象とした、行列式ポイントプロセス（DPP）への新しい接続を用いた、ベイジアン実験設計のための効率的アルゴリズムの開発。
• 精度行列 $\mathbf{A}$ を通じて事前知識が表現される高次元線形回帰において、$k \ll n$ の情報量の多いデータポイントの選択という課題の解決。
• アルゴリズムの計算効率、近似品質、および多様な実験設計基準への適用可能性の面で、従来手法を上回ることの達成。

提案手法

• ベイジアン実験設計と正則化DPPの根本的関係を活用。DPPのカーネルはデータ行列 $\mathbf{X}$ と事前精度 $\mathbf{A}$ から構築される。
• 半定値計画法（SDP）を解いて得られる確率ベクトル $p$ を用いて、正則化DPP $\mathrm{DPP}_{\mathrm{reg}}^{p}(\mathbf{X}, \mathbf{A})$ を構築し、最適サブセット選択を近似する。
• 凸錐ソルバー（SCS）を用いてSDPを効率的に解き、近最適なサンプリング確率のスケーラブルな計算を実現する。
• 2段階のサンプリング戦略を導入：まず学習済み確率に基づくDPPからのサンプリングを行い、次に棄却または切断によりサブセットサイズ $k$ に条件づける。
• DPP理論および行列濃縮の理論的保証を活用し、$(1+\epsilon)$-近似に必要なサンプルサイズ $k$ を支配する有効次元 $d_{\mathbf{A}}$ を制御する。
• SDPを用いない均一DPPサンプリングでさえ、ベースラインのi.i.d.一様サンプリングを上回ることを示し、多様性そのものが設計品質を向上させることを実証。また、SDP最適化DPPは、グリーディ法と同等またはわずかに優れた性能を達成。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン実験設計と行列式ポイントプロセスの間の原理的関係を確立し、効率的なサブセット選択を可能にすることができるか？
• RQ2 A, C, D, V 基準の下で、$(1+\epsilon)$-近似を達成するための最小サブセットサイズ $k$ はどの程度か？
• RQ3 $\mathbf{A}$-有効次元 $d_{\mathbf{A}}$ は、サンプル複雑性と近似保証にどのように影響を与えるか？
• RQ4 正則化DPPを用いたアルゴリズムが、実際の応用においてグリーディ法や一様サンプリングを上回る性能を発揮できるか？
• RQ5 理論的上界 $\mathrm{OPT}_k$ は、比 $f_{\mathbf{A}}(\mathbf{X}_S^\top\mathbf{X}_S)/f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ が示唆するように、実際のデータでもタイトであるか？

主な発見

• SDP最適化DPPサンプリングを用いた本手法は、$k = \Omega\left(\frac{d_{\mathbf{A}}}{\epsilon} + \frac{1}{\epsilon^2}\log\frac{1}{\epsilon}\right)$ のとき、A, C, D, V という4つの最適性基準すべてで (1+ε)-近似を達成する。
• SDPを用いた手法は、グリーディな下向き探索や予測長さに基づくサンプリングを上回り、実行時間と同等の性能を維持しながら、グリーディ法と同等またはわずかに優れた性能を示した。
• SDPを用いない均一DPPサンプリングですら、一様i.i.d.サンプリングを上回る結果を示し、多様性そのものが設計品質を向上させることを実証した。
• 実験的結果から、$\mathrm{OPT}_k$ がベースライン $f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ に対して小さな定数倍（しばしば0.5未満）の範囲に収まっていることが示され、理論的上界の妥当性が裏付けられた。
• すべてのテストデータセットにおいて、比 $f_{\mathbf{A}}(\mathbf{X}_S^\top\mathbf{X}_S)/f_{\mathbf{A}}(\frac{k}{n}\mathbf{\Sigma}_\mathbf{X})$ は0.5未満を維持しており、実用的な性能の高さが裏付けられた。
• SDPを解くためにSCSを用いることで、高速かつ理論的収束保証付きの最適化が可能となり、実世界のデータセットへのスケーラビリティが実現された。