[論文レビュー] A Statistical Perspective on Algorithmic Leveraging

Ping Ma, Michael W. Mahoney+1 more|arXiv (Cornell University)|Jun 23, 2013

Statistical Methods and Inference参考文献 41被引用数 138

ひとこと要約

この論文は、線形回帰におけるアルゴリズム的リービングの統計的分析を初めて提供し、リービングスコアに基づくサンプリングが、バイアスと分散の観点では一様サンプリングを常に上回るわけではないことを示している。これは、アルゴリズム的優位性とは対照的である。本稿では、同じ計算予算下で推定精度を向上させる2つの新しい手法、SLEV（縮小リービングスコア）とLEVUNW（アンウェイトド最小二乗法）を提案している。実験的検証は、合成データおよび実データ上で行われ、妥当性が裏付けられている。

ABSTRACT

One popular method for dealing with large-scale data sets is sampling. For example, by using the empirical statistical leverage scores as an importance sampling distribution, the method of algorithmic leveraging samples and rescales rows/columns of data matrices to reduce the data size before performing computations on the subproblem. This method has been successful in improving computational efficiency of algorithms for matrix problems such as least-squares approximation, least absolute deviations approximation, and low-rank matrix approximation. Existing work has focused on algorithmic issues such as worst-case running times and numerical issues associated with providing high-quality implementations, but none of it addresses statistical aspects of this method. In this paper, we provide a simple yet effective framework to evaluate the statistical properties of algorithmic leveraging in the context of estimating parameters in a linear regression model with a fixed number of predictors. We show that from the statistical perspective of bias and variance, neither leverage-based sampling nor uniform sampling dominates the other. This result is particularly striking, given the well-known result that, from the algorithmic perspective of worst-case analysis, leverage-based sampling provides uniformly superior worst-case algorithmic results, when compared with uniform sampling. Based on these theoretical results, we propose and analyze two new leveraging algorithms. A detailed empirical evaluation of existing leverage-based methods as well as these two new methods is carried out on both synthetic and real data sets. The empirical results indicate that our theory is a good predictor of practical performance of existing and new leverage-based algorithms and that the new algorithms achieve improved performance.

研究の動機と目的

• アルゴリズム的効率と統計的パフォーマンスのギャップを、アルゴリズム的リービングの統計的性質を分析することで埋める。
• データに条件づけられたおよび条件づけない両方の観点から、線形回帰におけるリービングスコアベースのサンプリングのバイアスと分散を評価する。
• アルゴリズム的利点がある一方で、リービングスコアベースのサンプリングが一様サンプリングを統計的に上回るとの仮定に疑問を呈する。
• 同じ計算制約下で推定精度を向上させる新しいリービングアルゴリズム（SLEVおよびLEVUNW）の開発と分析を行う。
• 理論的予測を、合成データおよび実世界のデータセットを用いた広範な実験的評価によって検証する。

提案手法

• テイラー級数近似を用いて、リービングスコアベースのサンプリング下での最小二乗推定量のバイアスと分散の解析的表現を導出する。
• 分散を低減するためにリービングスコアを再スケーリングするSLEV（縮小リービングスコア）を導入する。
• より小さいアンウェイトド部分問題を解くことで、無条件バイアスと分散を改善するLEVUNW（アンウェイトド最小二乗法）を提案する。
• 異なるサンプリング方式下での分散成分のオーダーの大きさを、漸近的解析を用いて導出する。
• コーシー＝シュワルツの不等式および行列ノルムの上限を用いて、分散項の漸近的挙動を特徴付ける。
• 既存のリービングスコアベースの手法および2つの新アルゴリズムを含む、すべての手法を合成データおよび実データ上で実験的に評価し、理論的予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 線形回帰において、リービングスコアベースのサンプリングがバイアスと分散の観点で一様サンプリングを統計的に上回るのか？
• RQ2 大規模線形回帰におけるアルゴリズム的リービングの条件付きおよび無条件バイアスと分散の性質は何か？
• RQ3 計算効率を維持したまま統計的パフォーマンスを向上させる新しいリービングアルゴリズムを設計できるか？
• RQ4 バイアスと分散の理論的予測は、実際のパフォーマンスとどの程度一致するのか？
• RQ5 リービングスコアにおける縮小とアンウェイトの影響は、推定精度にどのような効果をもたらすのか？

主な発見

• 統計的観点から見ると、リービングスコアベースのサンプリングも一様サンプリングも、バイアスと分散の観点で互いに支配的ではない。これは、アルゴリズム的最悪ケースの優位性とは対照的である。
• 提案されたSLEV手法は、同じ計算削減率下で、標準的なアルゴリズム的リービングと比較して、無条件および条件付きの両方のバイアスと分散を改善することが一般的に見られる。
• 同じデータ削減レベル下で、LEVUNW手法はベースラインのリービング手法と比較して、無条件バイアスと分散を改善する。
• 実験的結果は、合成データおよび実世界のデータセットの両方で、理論的予測のバイアスと分散が実際のパフォーマンスとよく一致することを確認している。
• 理論的枠組みは、性能のトレードオフを的確に特定し、改善されたリービングアルゴリズムの設計を支援した。
• 分析から、アルゴリズム的効率が保たれても、バイアスや分散といった統計的性質がサンプリング分布の選択に敏感であることが明らかになった。