[論文レビュー] Survey schemes for stochastic gradient descent with applications to M-estimation

Stéphan Clémençon, Patrice Bertail+2 more|arXiv (Cornell University)|Jan 9, 2015

Machine Learning and Algorithms被引用数 3

ひとこと要約

本稿は、大規模なM推定における確率的勾配降下法（SGD）のためのホルヴィッツ＝トムプソン勾配推定器を提案する。この手法は、調査抽出設計から得られる非一様な包含確率を組み込む。補助情報を利用して最適な抽出確率を割り当てることで、計算複雑性を増加させることなく漸近的分散を著しく低減し、一様なサブサンプリングよりも高い統計的精度を達成する。

ABSTRACT

In certain situations that shall be undoubtedly more and more common in the Big Data era, the datasets available are so massive that computing statistics over the full sample is hardly feasible, if not unfeasible. A natural approach in this context consists in using survey schemes and substituting the "full data" statistics with their counterparts based on the resulting random samples, of manageable size. It is the main purpose of this paper to investigate the impact of survey sampling with unequal inclusion probabilities on stochastic gradient descent-based M-estimation methods in large-scale statistical and machine-learning problems. Precisely, we prove that, in presence of some a priori information, one may significantly increase asymptotic accuracy when choosing appropriate first order inclusion probabilities, without affecting complexity. These striking results are described here by limit theorems and are also illustrated by numerical experiments.

研究の動機と目的

• Big Dataにおける全データM推定の計算上の非現実性に対処するため、調査抽出を用いてデータサイズを削減すること。
• 調査抽出における非一様な包含確率が、SGDに基づくM推定器の漸近的効率に与える影響を調査すること。
• 補助情報に基づく最適な抽出設計が、計算コストを増加させることなくSGDにおける漸近的分散を著しく低減できることを示すこと。
• 一般の抽出設計のもとで、提案されたホルヴィッツ＝トムプソンSGD推定器の理論的一貫性および漸近正規性を確立すること。
• ロジスティック回帰および追加情報付きの半パラメトリックシフトモデルを通じて、実験的に手法を検証すること。

提案手法

• 非一様な包含確率に基づく逆確率重み付けを用いて勾配推定値を補正するホルヴィッツ＝トムプソン勾配推定器（HTGD）を導入する。
• HTGD推定器をM推定の反復的SGDフレームワークに適用し、正則性条件のもとで一貫性および漸近正規性を保証する。
• 極限定理を導出し、包含確率が勾配のノルムに比例する場合に漸近的分散が最小化されることを示す。この際、補助情報を活用する。
• ポアソン抽出設計を代表例として分析し、一様抽出と比較して非一様確率が分散を低減することを示す。
• 収束レートのバウンドを確立し、強い凸性およびステップサイズの条件のもとで、HTGDアルゴリズムが $ O(t^{-\theta}) $ の平均二乗誤差の減少率を達成することを示す（$ \theta \in (1/2,1] $）。
• 各サンプルがその包含確率の逆数に比例する重みで寄与するホルヴィッツ＝トムプソン推定器を勾配に用い、抽出設計のもとで不偏性が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 調査抽出を用い、非一様な包含確率を導入することで、M推定における確率的勾配降下法の漸近的効率を向上させることができるか？
• RQ2 包含確率の選択が、HTGD推定器の漸近的分散にどのように影響するか？
• RQ3 補助情報を用いて、計算複雑性を増加させることなく分散を低減する抽出スキームを設計できるか？
• RQ4 一般の抽出設計のもとで、HTGDアルゴリズムの理論的収束特性は何か？
• RQ5 統計的精度および収束速度の観点から、HTGD手法はナーブな一様サブサンプリングと比べてどのように異なるか？

主な発見

• 包含確率を勾配のノルムに比例するように選ぶことで、HTGD推定器の漸近的分散を著しく低減できる。この際、補助情報を活用する。
• 分散低減は、漸近的共分散行列のヒルバート＝シュミットノルムの差として定量化され、$ c_N(\theta^*)/N_0 $ の形の低減項が、勾配ノルムと抽出確率に依存する。
• ポアソン抽出の場合、最適な包含確率は $ ||Q\nabla_\theta\psi(Z_i,\theta^*)|| $ に比例し、一様抽出と比較して顕著な分散低減が達成される。
• HTGDアルゴリズムは、強い凸性および勾配分散の有界性の下で、$ O(t^{-\alpha}) $ の収束レート（$ \alpha \in (1/2,1] $）を達成する。$ \alpha = 1 $ となるためには $ \gamma(0) > 1/(2l) $ が必要である。
• 理論的分析により、第一および第二の包含確率に関する標準的な正則性条件のもとで、HTGD推定器が一貫性および漸近正規性を有することが確認された。
• 数値実験により、最適な抽出により追加情報を統合することで、ロジスティック回帰および半パラメトリックシフトモデルにおいて、収束が速くなり、推定誤差が低減することが確認された。