[論文レビュー] Subsampling for Ridge Regression via Regularized Volume Sampling

Michał Dereziński, Manfred K. Warmuth|arXiv (Cornell University)|Oct 1, 2017

Machine Learning and Data Classification被引用数 9

ひとこと要約

本稿では、リッジ回帰におけるデータの部分抽出のための正則化付きボリュームサンプリング手法を提案する。この手法により、少ないラベル例での正確な推定が可能となり、最適なサンプリングと同等の統計的保証を達成するとともに、ラベルスコアサンプリングと同等の効率性を備え、ラベルが高価な状況ではi.i.d.手法を上回る性能を発揮する。

ABSTRACT

Given $n$ vectors $\mathbf{x}_i\in \mathbb{R}^d$, we want to fit a linear regression model for noisy labels $y_i\in\mathbb{R}$. The ridge estimator is a classical solution to this problem. However, when labels are expensive, we are forced to select only a small subset of vectors $\mathbf{x}_i$ for which we obtain the labels $y_i$. We propose a new procedure for selecting the subset of vectors, such that the ridge estimator obtained from that subset offers strong statistical guarantees in terms of the mean squared prediction error over the entire dataset of $n$ labeled vectors. The number of labels needed is proportional to the statistical dimension of the problem which is often much smaller than $d$. Our method is an extension of a joint subsampling procedure called volume sampling. A second major contribution is that we speed up volume sampling so that it is essentially as efficient as leverage scores, which is the main i.i.d. subsampling procedure for this task. Finally, we show theoretically and experimentally that volume sampling has a clear advantage over any i.i.d. sampling when labels are expensive.

研究の動機と目的

• 線形回帰におけるラベル取得コストを最小化する挑戦に応えるために、情報量の多い少数のデータポイントのサブセットを選択する。
• 完全なデータセットにおける平均二乗予測誤差の観点から、強力な統計的性能を維持する部分抽出手順を開発する。
• 必要なラベル数が、環境次元ではなく統計次元に比例して増加することを保証し、高次元設定での効率性を向上させる。
• ボリュームサンプリングの計算効率を、ラベルスコアサンプリングと同等の速度に高め、実用的導入を可能にする。

提案手法

• 部分抽出されたリッジ回帰における安定性と統計的性能の向上を目的に、ボリュームサンプリングの正則化版を導入する。
• データポイントの体積（グラム行列の行列式）に基づいて、サブセットを同時に選択する共同部分抽出メカニズムを用いる。これにより、多様性とカバレッジが促進される。
• 数値的不安定性を回避し一般化性能を向上させるために、ボリュームサンプリング分布に正則化を組み込む。
• 低ランク構造と行列恒等式を活用することで、計算効率の良いボリュームサンプリングアルゴリズムを導出する。これにより、ほぼ線形時間計算量を達成する。
• 部分抽出されたデータから得られる推定器が、データのわずかな割合しかラベル化されていなくても、高い確率で低い平均二乗予測誤差を維持することを示す。
• ラベルスコアのようなi.i.d.サンプリング方式と、理論的および実験的に比較し、ラベルが高価な状況で優れた性能を示すことを確認する。

実験結果

リサーチクエスチョン

• RQ1 ラベルが高価な状況下で、リッジ回帰における統計的安定性と性能を向上させるために、ボリュームサンプリングを正則化することは可能か？
• RQ2 ボリュームサンプリングを、ラベルスコアサンプリングと同等の速度にまで十分に計算効率化することは可能か？
• RQ3 ラベルが高価な状況下で、正則化付きボリュームサンプリングはi.i.d.サンプリング手法と比較して、平均二乗予測誤差の観点で優れているか？
• RQ4 提案手法において、必要なラベル数は環境次元ではなく統計次元に比例するか？
• RQ5 部分抽出されたデータから導かれるリッジ推定器の予測誤差に対して、どのような理論的保証を提供できるか？

主な発見

• 提案された正則化付きボリュームサンプリング手法は、全データセットを用いた最適推定器と同等の平均二乗予測誤差を達成する。
• 必要なラベル数は統計次元に比例しており、これはしばしば環境次元 $d$ よりも顕著に小さい。
• 計算効率が高く、ラベルスコアサンプリングと同等の時間で実行可能であり、大規模問題への実用的導入を可能にする。
• 理論的分析により、ラベルが高価な状況下でボリュームサンプリングが任意のi.i.i.d.サンプリング手法を上回ることを示した。
• 実験的結果により、さまざまなデータセットおよびラベルの希少性の状況下でも、ボリュームサンプリングが優れた一般化性能を維持することが確認された。
• ボリュームサンプリングにおける正則化は、低サンプル状況での数値的安定性を向上させ、退化を防止する。