[論文レビュー] Minimax experimental design: Bridging the gap between statistical and worst-case approaches to least squares regression

Michał Dereziński, Kenneth L. Clarkson+2 more|arXiv (Cornell University)|Feb 4, 2019

Gaussian Processes and Bayesian Inference参考文献 24被引用数 8

ひとこと要約

本稿では、最小二乗回帰における統計的および最悪ケースのアプローチを統合する、q-リスケールドボリュームサンプリングという新しい実験設計手法を提案する。データポイントにわたる分布 q を活用し、k ≥ d のサンプルを保証することで、高確率で最適なミニマックスリスクバウンドを達成し、古典的設計と最悪ケース解析の両方を改善する統一されたフレームワークを提供する。

ABSTRACT

In experimental design, we are given a large collection of vectors, each with a hidden response value that we assume derives from an underlying linear model, and we wish to pick a small subset of the vectors such that querying the corresponding responses will lead to a good estimator of the model. A classical approach in statistics is to assume the responses are linear, plus zero-mean i.i.d. Gaussian noise, in which case the goal is to provide an unbiased estimator with smallest mean squared error (A-optimal design). A related approach, more common in computer science, is to assume the responses are arbitrary but fixed, in which case the goal is to estimate the least squares solution using few responses, as quickly as possible, for worst-case inputs. Despite many attempts, characterizing the relationship between these two approaches has proven elusive. We address this by proposing a framework for experimental design where the responses are produced by an arbitrary unknown distribution. We show that there is an efficient randomized experimental design procedure that achieves strong variance bounds for an unbiased estimator using few responses in this general model. Nearly tight bounds for the classical A-optimality criterion, as well as improved bounds for worst-case responses, emerge as special cases of this result. In the process, we develop a new algorithm for a joint sampling distribution called volume sampling, and we propose a new i.i.d. importance sampling method: inverse score sampling. A key novelty of our analysis is in developing new expected error bounds for worst-case regression by controlling the tail behavior of i.i.d. sampling via the jointness of volume sampling. Our result motivates a new minimax-optimality criterion for experimental design which can be viewed as an extension of both A-optimal design and sampling for worst-case regression.

研究の動機と目的

• 最小二乗回帰の実験設計における統計的アプローチと最悪ケースアプローチの間のギャップを埋めること。
• 確率的および敵対的設定の両方で強固な理論的保証を維持するサンプリング手法を開発すること。
• データおよび設計分布に関する最小限の仮定の下で、最適なミニマックスリスクバウンドを保証すること。
• ボリュームサンプリングを一般化し、データポイントに分布 q を組み込むことで、柔軟で頑健な設計を可能にすること。
• 期待値と高確率の両方の状況で最適なパフォーマンスを達成する統一されたフレームワークを提供すること。

提案手法

• インデックス列 π ∈ [n]^k における確率分布として、q-リスケールドボリュームサンプリングを提案する。ここで各列は、XᵀSπᵀSπX の行列式に比例する確率で選択される。
• サンプリング確率を Pr(π) = [det(XᵀSπᵀSπX) / det(XᵀX)] × [d! / (k choose d)] × ∏_{i=1}^k q_i として定義し、適切な正規化を保証する。
• q によるリスケーリングを用いて、設計選択における統計的効率性と最悪ケースの頑健性のバランスを図る。
• k ≥ d のサンプルを適用することで、フルランク推定を保証し、最悪ケース予測誤差を最小化する。
• 期待リスクおよび高確率リスクの理論的バウンドを導出し、ミニマックス意味で最適性を示す。
• 敵対的設定下でも、定数因子の範囲内でミニマックスリスクを達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 単一の実験設計手法が、最小二乗回帰において統計的仮定と最悪ケース仮定の両方の下で最適なパフォーマンスを達成できるか？
• RQ2 ボリュームサンプリングを、データポイントに事前分布 q を組み込むことでどのように一般化できるか？
• RQ3 提案された q-リスケールドボリュームサンプリング手法のミニマックスリスクは何か？ また、既存手法と比較してどうなるか？
• RQ4 この手法は、期待値の範囲だけでなく、高確率の下でも最適なリスクバウンドを維持できるか？
• RQ5 原理的かつ統一的に、古典的統計的設計と最悪ケース解析を統合できるフレームワークは可能か？

主な発見

• 提案された q-リスケールドボリュームサンプリングは、最小二乗回帰におけるミニマックスリスクを定数因子の範囲で達成する。
• 同じ仮定の下で、高確率の下でも最適なパフォーマンスを保証する。期待値でのみではなく、高確率の下でも有効である。
• 確率分布は、行列式に基づく確率ルールに q_i によるスケーリングを施すことで明示的に定義され、理論的取り扱いやすさを確保する。
• 統計的および最悪ケースの両方のアプローチを統合するフレームワークを提供し、両方の状況で優れたパフォーマンスを発揮する単一の手法を実現する。
• k ≥ d という条件を満たすことで、フルランク推定および設計の安定性が保証される。
• q を組み込むことで、従来のボリュームサンプリングを改善し、より優れた適応性と頑健性を実現する。