[論文レビュー] Gradient-based Sampling: An Adaptive Importance Sampling for Least-squares

Rong Zhu|arXiv (Cornell University)|Mar 2, 2018

Sparse and Compressive Sensing TechniquesEngineering被引用数 22

ひとこと要約

この論文は、勾配に基づくサンプリングを提案する。これは、最小二乗問題における適応的で重要度に基づくサンプリング手法であり、入力データと応答変数の両方を用いて、勾配値に基づいてサンプリング確率を計算する。計算時間を O(nd) に削減し、誤差バインディングをより厳密にすることで、合成データおよび実データの両方において、リッジベースおよび一様サンプリングよりも統計的効率性と計算速度の両面で優れている。

ABSTRACT

In modern data analysis, random sampling is an efficient and widely-used strategy to overcome the computational difficulties brought by large sample size. In previous studies, researchers conducted random sampling which is according to the input data but independent on the response variable, however the response variable may also be informative for sampling. In this paper we propose an adaptive sampling called the gradient-based sampling which is dependent on both the input data and the output for fast solving of least-square (LS) problems. We draw the data points by random sampling from the full data according to their gradient values. This sampling is computationally saving, since the running time of computing the sampling probabilities is reduced to O(nd) where n is the full sample size and d is the dimension of the input. Theoretically, we establish an error bound analysis of the general importance sampling with respect to LS solution from full data. The result establishes an improved performance of the use of our gradient- based sampling. Synthetic and real data sets are used to empirically argue that the gradient-based sampling has an obvious advantage over existing sampling methods from two aspects of statistical efficiency and computational saving.

研究の動機と目的

• 現代のデータ解析における大規模最小二乗問題の計算負荷を軽減すること。
• 一様サンプリングおよびリッジベースサンプリングの限界を克服すること。これらは応答変数の情報を無視し、高い計算コストを伴う。
• 入力データと出力データの両方を活用して、統計的効率性を向上させるとともに、計算時間を短縮するサンプリング手法を開発すること。
• 一般の重要度サンプリングに対して非漸近的誤差バインディングを確立し、提案手法の理論的性能保証を可能にすること。

提案手法

• 最小二乗解のパイLOT推定値に基づき、損失関数のパラメータに関する勾配を用いて、サンプリング確率を計算する。
• 各データポイントの勾配ベクトルの大きさに比例してサンプリング確率を設定するため、入力特徴量と応答値の両方に応答する。
• 勾配に基づくサンプリング確率の計算時間を O(nd) に短縮し、SVD やランダム化SVDを必要とするリッジベース手法よりも著しく高速である。
• 勾配値から導かれる非一様確率を用いた重要度サンプリングにより、部分的にサンプルされた最小二乗問題を構築する。
• 理論的分析により、一般の重要度サンプリング下での最小二乗解の非漸近的誤差バインディングを導出。勾配ベースサンプリングがより優れた性能保証を達成できることを示す。
• 提案手法を実世界および合成データセットに拡張し、統計的および計算上の利点を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 サンプリング確率に応答変数の情報を組み込むことで、最小二乗推定における統計的効率性が向上するか？
• RQ2 リッジベースサンプリングと比較して、勾配ベースサンプリングは計算コストを低減しながらも、解の精度を維持または向上させるか？
• RQ3 最小二乗問題における重要度サンプリングに対して非漸近的誤差バインディングを確立できるか？ また、既存のバインディングと比較してどうなるか？
• RQ4 実際のデータ分布およびサンプルサイズの違いにおいて、勾配ベースサンプリングの性能はどのように変化するか？
• RQ5 理論的に予測されたように、提案手法は最小二乗解においてほぼ最小の誤差バインディングに到達できるか？

主な発見

• 勾配ベースサンプリングにより、サンプリング確率の計算時間を O(nd) に短縮し、リッジベースサンプリングに比べて顕著な計算上の利点を有する。
• 理論的分析により、一般の重要度サンプリングに対して非漸近的誤差バインディングを確立。勾配ベースサンプリングが最小の誤差バインディングにほぼ到達できることを示した。
• 合成データおよび実データセットにおける実験結果から、勾配ベースサンプリングはリッジベースおよび一様サンプリングよりも高い統計的効率性を達成した。
• 非漸近的誤差バインディングの支援により、部分サンプルサイズと統計的精度のバランスを改善した性能を示した。
• パイLOT推定値が真の解に近い場合、勾配ベース手法のサンプリング分散は理論的最小値に近づき、σ²_b(π⁰) − σ²_b(πᵉ) = o_p(1) で示されるように、σ²_b(π⁰) − σ²_b(πᵉ) = o_p(1) に近づく。
• 高い確率での誤差バインディング Pr{||β̃ − β|| ≤ C₁r⁻¹ᐟ² + C₂r⁻¹} ≥ 1 − δ を達成し、C₁ および C₂ はデータおよび信頼水準に依存する。