[論文レビュー] Optimal Sub-sampling with Influence Functions

Daniel Ting, Eric Brochu|arXiv (Cornell University)|Sep 6, 2017

Statistical Methods and Inference参考文献 4被引用数 11

ひとこと要約

本稿では、大規模なデータセットにおける推定精度を最も保つようにデータポイントを選択するための最適なサブサンプリング手法を、影響関数を用いて提案する。サブサンプリングを影響関数上の最適平均推定として扱うことで、漸近的に最小の分散を達成し、線形回帰および分位数回帰モデルにおいて、一様サンプリング、レバレッジに基づくサンプリング、勾配に基づくサンプリングをすべて上回る性能を示す。

ABSTRACT

Sub-sampling is a common and often effective method to deal with the computational challenges of large datasets. However, for most statistical models, there is no well-motivated approach for drawing a non-uniform subsample. We show that the concept of an asymptotically linear estimator and the associated influence function leads to optimal sampling procedures for a wide class of popular models. Furthermore, for linear regression models which have well-studied procedures for non-uniform sub-sampling, we show our optimal influence function based method outperforms previous approaches. We empirically show the improved performance of our method on real datasets.

研究の動機と目的

• 線形回帰を超える一般の統計モデルに対して、原理的で非一様なサブサンプリング手法の不足を解消すること。
• パrameter推定における漸近的分散を最小化する理論的根拠に基づいたサブサンプリング手法の開発。
• 影響関数が、残差と設計行列の両方の影響を統一的な枠組みでバランスさせる手がかりを提供することを示すこと。
• 従来の手法（例：レバレッジスコア、勾配に基づくサンプリング）と比較して、理論的および実践的両面で優れた性能を示すことを示すこと。
• 線形回帰、分位数回帰、一般化線形モデルを含む多様なモデルに適用可能な、効率的でタスク固有のサブサンプリングを可能にすること。

提案手法

• 各データポイントの推定量への影響を測る指標として影響関数を用い、根拠に基づいたサブサンプリングを可能にする。
• 影響関数の大きさに基づいてサブサンプリング確率を定式化し、最適なポissonサンプリング設計を導出する。
• 同じ期待サイズを持つすべての設計において漸近的最適性を達成する正則化されたサブサンプリング手順を導出する。
• 残差と設計行列の影響を明示的に分離することで、線形回帰、分位数回帰、一般化線形モデルに本手法を適用する。
• パイロット推定値を用いて影響関数を計算し、推定精度の損失が最小限となる重み付きサブサンプルを生成する。
• 行列の逆行列計算が高コストな場合でも、残差のみまたは簡略化されたレバレッジ推定値のみを用いた効率的な近似を実装し、高い性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 影響関数を用いて、広範な統計モデルクラスに対して最適で非一様なサブサンプリング確率を導出可能か？
• RQ2 レバレッジスコアや勾配に基づくサンプリングと比較して、影響に基づくサブサンプリングは推定精度においてどのように異なるか？
• RQ3 影響関数に基づくアプローチは、他のサブサンプリング設計と比較して漸近的最適性（分散の最小化）を達成するか？
• RQ4 残差と設計行列の影響が最適サブサンプリングに与える影響はどの程度で、両者を効果的にバランスさせられるか？
• RQ5 （例：残差のみに基づく）影響関数の単純な近似は、計算コストを削減しながらも、強力な実験的性能を示せるか？

主な発見

• 影響関数に基づくサブサンプリング手法は、同じ期待サイズを持つすべての正則化されたポissonサンプリング設計の中で、漸近的に最小の分散を達成する。
• CASPおよびOnline News Popularityデータセットでは、本手法は一様サンプリングと同等の誤差を達成するため、サンプルサイズを1/3〜1/2にまで削減できた。
• 重尾を持つOnline Newsデータセットにおける最小二乗回帰では、影響に基づく手法が一様サンプリングおよびレバレッジベースのサンプリングを著しく上回った。
• 勾配に基づく手法は、正規化が行われていないため変数スケールの問題が影響し、残差のみのサンプリングより性能が悪かった。
• （例：残差のみを用いた）影響関数の近似推定値は、計算効率が高く、特に行列の逆行列計算が非現実的である場合に優れた性能を示した。
• 影響に基づく設計は、残差と設計行列の両方の効果を効果的にバランスさせるが、レバレッジベースの手法は残差を無視し、勾配ベースの手法は中心部の高残差ポイントを軽視する。