[論文レビュー] Reverse iterative volume sampling for linear regression

Michał Dereziński, Manfred K. Warmuth|arXiv (Cornell University)|Jun 6, 2018

Face and Expression Recognition被引用数 5

ひとこと要約

本稿では、線形回帰における全データ最適解の不偏推定量を保証し、期待損失が最適損失のちょうど (d+1) 倍になるという強力な理論的保証を備えた、逆反復体積サンプリングという新規手法を導入する。この手法は、n×d のデザイン行列 X から d 行を選択し、それらが張る平行otope の体積の二乗に比例する確率でサブセットをサンプリングすることで、全データの最小二乗解に近い性能を達成する。このアプローチにより、アクティブラーニングや実験設計における実用的かつ効率的なアルゴリズムが可能になる。

ABSTRACT

We study the following basic machine learning task: Given a fixed set of $d$-dimensional input points for a linear regression problem, we wish to predict a hidden response value for each of the points. We can only afford to attain the responses for a small subset of the points that are then used to construct linear predictions for all points in the dataset. The performance of the predictions is evaluated by the total square loss on all responses (the attained as well as the hidden ones). We show that a good approximate solution to this least squares problem can be obtained from just dimension $d$ many responses by using a joint sampling technique called volume sampling. Moreover, the least squares solution obtained for the volume sampled subproblem is an unbiased estimator of optimal solution based on all n responses. This unbiasedness is a desirable property that is not shared by other common subset selection techniques. Motivated by these basic properties, we develop a theoretical framework for studying volume sampling, resulting in a number of new matrix expectation equalities and statistical guarantees which are of importance not only to least squares regression but also to numerical linear algebra in general. Our methods also lead to a regularized variant of volume sampling, and we propose the first efficient algorithms for volume sampling which make this technique a practical tool in the machine learning toolbox. Finally, we provide experimental evidence which confirms our theoretical findings.

研究の動機と目的

• 全データの最小二乗解に近い性能を達成する理論的裏付けが強く、最小限のデータで全二乗損失を最小化するサブセット選択のための効率的で理論的根拠のある手法を開発すること。
• d 行を選択する際、それらが張る体積の二乗に比例する体積サンプリングが、全データの最小二乗解の不偏推定量を生成することを確立すること。
• 標準的なサブセット選択手法を超えた、体積サンプリング下での擬似逆行列推定量の期待値に関する新しい行列期待値恒等式を導出すること。
• 計算コストが高いため実用的でなかった体積サンプリングのための、初めての効率的アルゴリズムを提供すること。
• 理論的結果を実験的に検証し、期待損失と不偏性の性質が正しく確認されることを確認すること。

提案手法

• 本稿では、n×d 行列 X から d 行を選択する際、選択された行が張る空間の体積の二乗である det(X⊤SXS) に比例する確率でサンプリングする、逆反復体積サンプリングという新規なアルゴリズムフレームワークを提案する。
• 行列の体積変換と基本的列操作に基づく新しい証明技法を導入し、擬似逆行列推定量の正確な期待値式を導出する。
• 重要な恒等式を導出する：E[(ISX)+] = X+ および E[(X⊤SXS)−1] = (n−d+1)/(s−d+1) ⋅ (X⊤X)−1（s≥d のとき）、ここで IS は選択行列である。
• 数値的安定性と一般化性能の向上を目的として、体積サンプリングの正則化版を提案する。
• 逆反復プロセスを用いて、行を逆順に削除することで体積サンプルを段階的に構築する。これにより、計算が効率的に行える。
• 行列行列式恒等式と射影幾何学を用いて、予測損失と体積の変化の関係を定式化し、核心的な理論的結果を証明する。

実験結果

リサーチクエスチョン

• RQ1 d 行のサブセットを選択することで、得られる最小二乗解が全データ最適解の不偏推定量となるようにできるか？
• RQ2 体積サンプリングによって得られた解の期待全二乗損失は、最適解の損失と比べてどの程度か？
• RQ3 計算コストが高いため実用的でなかった体積サンプリングのための効率的アルゴリズムを設計できるか？
• RQ4 体積サンプリング下で、擬似逆行列推定量の期待値を支配する行列恒等式は何か？
• RQ5 他の行サンプリング手法と比較して、体積サンプリングはバイアスと損失保証の点でどのように優れているか？

主な発見

• 体積サンプリングによって得られる最小二乗解 w∗(S) は、全データ最適解 w∗ の不偏推定量である。すなわち、E[w∗(S)] = w∗ が成り立つ。
• 体積サンプリングによる解の期待全二乗損失は、最適損失のちょうど (d+1) 倍である。すなわち、E[L(w∗(S))] = (d+1)L(w∗) が成り立つ。
• d 未満の応答を含むいかなるサンプリング手順に対しても、期待損失と最適損失の比は定数で有界にできない。
• 行列の期待値 E[(ISX)+] は、全擬似逆行列 X+ に等しい。ただし、(XS)+ は X+ の部分行列ではない。
• 二番目のモーメント恒等式 E[(X⊤SXS)−1] = (n−d+1)/(s−d+1) ⋅ (X⊤X)−1 は、任意の s≥d に対して成り立ち、重要な統計的保証を提供する。
• 提案された逆反復サンプリングアルゴリズムにより、体積サンプルの効率的計算が可能となり、大規模な機械学習応用において実用的である。