[論文レビュー] Optimal Subsampling for Large Sample Ridge Regression

Yunlu Chen, Nan Zhang|arXiv (Cornell University)|Apr 10, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、予測子の ℓ₂ ノルムとリッジレバレッジスコアを組み合わせることで、漸近的平均二乗誤差（AMSE）を最小化する大規模サンプルに対するリッジ回帰の最適な部分サンプリング手法を提案する。この手法は計算コストを低減するための効率的な近似を用い、合成データおよび実世界のデータセットにおいて、特に小さなから中程度の部分サンプルサイズの場合、既存の部分サンプリング手法と比較して優れた統計的精度と効率性を示す。

ABSTRACT

Subsampling is a popular approach to alleviating the computational burden for analyzing massive datasets. Recent efforts have been devoted to various statistical models without explicit regularization. In this paper, we develop an efficient subsampling procedure for the large sample linear ridge regression. In contrast to the ordinary least square estimator, the introduction of the ridge penalty leads to a subtle trade-off between bias and variance. We first investigate the asymptotic properties of the subsampling estimator and then propose to minimize the asymptotic-mean-squared-error criterion for optimality. The resulting subsampling probability involves both ridge leverage score and L2 norm of the predictor. To further reduce the computational cost for calculating the ridge leverage scores, we propose the algorithm with efficient approximation. We show by synthetic and real datasets that the algorithm is both statistically accurate and computationally efficient compared with existing subsampling based methods.

研究の動機と目的

• マス・データセットにおけるリッジ回帰の計算負荷を軽減するための効率的な部分サンプリング手順の開発。
• リッジ回帰のバイアス・バリアンストレードオフを最適化しない既存の部分サンプリング手法の限界を克服する。
• 高次元かつ大規模サンプル設定における統計的効率性と計算可能性の両立を図る部分サンプリング確率の開発。
• リッジレバレッジスコアの計算コストを正確性を損なわずに低減するための効率的な近似アルゴリズムの提案。
• 多様なデータ環境下で、平均二乗誤差と計算効率の両面において、提案手法の優位性を実証する。

提案手法

• リッジ回帰における部分サンプリング推定量の漸近的分布を導出し、最適性基準を裏付ける。
• 漸近的平均二乗誤差（AMSE）を最小化することで最適な部分サンプリング確率を定式化し、これにはリッジレバレッジスコアと各予測子の ℓ₂ ノルムが組み込まれる。
• 特に n が大きい場合に計算複雑性を低減するため、リッジレバレッジスコアの高速近似を導入する。
• 2段階のサンプリング戦略を実装：まず近似リッジレバレッジスコアを計算し、その後に組み合わせたリッジレバレッジスコアと ℓ₂ ノルムに基づいてサンプリング確率を割り当てる。
• 選択された部分サンプルを用いて、フルサンプル推定量を近似するリッジ回帰推定量を計算する。
• 合成データと実世界のデータセットを用いて手法を検証し、均一サンプリング、RLEV、OPT、IBOSS などのベースライン手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 リッジ回帰における部分サンプリングを、大規模サンプル設定でのバイアスとバリアンスのバランスを最適化するようにどのように設計できるか？
• RQ2 リッジ回帰において漸近的平均二乗誤差（AMSE）を最小化する最適な部分サンプリング確率は何か？
• RQ3 リッジレバレッジスコアを計算コストを低減しながらも統計的正確性を保持する形で効率的に近似するにはどうすればよいか？
• RQ4 提案手法は、推定精度と計算効率の両面で、既存の部分サンプリング手法と比較してどのように優れているか？
• RQ5 真のモデルがリッジ正則化に強く依存しない場合でも、提案手法はその優位性を維持するか？

主な発見

• 合成実験において、提案手法 ROPT は全テスト部分サンプルサイズで最小の平均二乗誤差（MSE）を達成し、RLEV、RUNIF、OPT、IBOSS を上回った。
• リッジレバレッジスコアの高速近似（ROPT）は、正確なバージョン（ROPT-acc）とほぼ同一の性能を示し、近似手法の有効性を裏付けた。
• 39,000件以上のサンプルを含む Online News Popularity データセットにおいて、ROPT は全部分サンプルサイズで一貫して最小のテスト誤差を達成し、r=100 の場合に最小の対数テスト誤差（0.007）を記録した。
• 部分サンプルサイズが小さいか中程度の場合は、ROPT が他の手法に顕著な優位性を示し、サンプルサイズが増加するにつれて性能の差が縮小するにとどまり、その差は依然として顕著であった。
• 真のモデルがリッジペナルティに強く依存しない場合でも、この手法は依然として有効であり、モデルの誤指定に対してもロバストであることが示された。
• リッジレバレッジスコアと ℓ₂ ノルムの両方をサンプリング確率に組み込むことで、単一の要因に依存する手法よりも優れた統計的効率性が達成された。