[論文レビュー] Stochastic Gradient Descent for Linear Systems with Missing Data

Anna Ma, Deanna Needell|arXiv (Cornell University)|Feb 23, 2017

Sparse and Compressive Sensing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、欠損データを含む大規模線形方程式系を解くために特化した確率的勾配降下法であるmSGDアルゴリズムを提案する。不完全な行列を扱うために不偏勾配推定と射影ステップを適用することで、固定ステップサイズを用いても不整合なシステムに対しても線形収束を達成し、理論的保証とシミュレートデータおよび実世界データにおける実証的検証を提供する。

ABSTRACT

Traditional methods for solving linear systems have quickly become impractical due to an increase in the size of available data. Utilizing massive amounts of data is further complicated when the data is incomplete or has missing entries. In this work, we address the obstacles presented when working with large data and incomplete data simultaneously. In particular, we propose to adapt the Stochastic Gradient Descent method to address missing data in linear systems. Our proposed algorithm, the Stochastic Gradient Descent for Missing Data method (mSGD), is introduced and theoretical convergence guarantees are provided. In addition, we include numerical experiments on simulated and real world data that demonstrate the usefulness of our method.

研究の動機と目的

• データが不完全または欠損値を含む場合に大規模線形方程式系を解く課題に対処すること。
• 欠損値を含む大規模データセットに適した低メモリで反復的な手法を開発すること。
• 欠損データが存在する状況下での確率的勾配降下法の理論的収束保証を提供すること。
• 提案手法の有効性を、シミュレートデータおよび実世界データの両方で示すこと。

提案手法

• 不完全な行列Aのランダムに選択された行から得られる不偏勾配推定を用いるmSGDを提案し、確率的勾配降下の変種を構築する。
• 目的関数を ||Ax - b||²/2m の最小化問題として定義する。ここでAは部分的に観測されている。
• 反復値が妥当領域内に保たれるように、凸集合Wへの射影ステップを用いる。
• 固定ステップサイズ戦略を組み込み、不整合なシステムに対しても線形収束を可能にする。
• 残差の直交性により、不整合な場合でも∇F(x⋆) = 0 が成り立つことを利用し、収束性を維持する。
• リプシッツ連続性と強い凸性の仮定を用いて収束バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 欠損データが存在する場合に、確率的勾配降下法を効果的に線形方程式系の解法に適応できるか？
• RQ2 提案されたmSGD手法は、不整合な線形方程式系に対しても固定ステップサイズで線形収束を達成するか？
• RQ3 mSGDは、不完全な大規模データに対して、標準的手法と比較して実際の性能で優れているか？
• RQ4 欠損データの仮定の下で、mSGDに対してどのような理論的保証を確立できるか？

主な発見

• mSGDアルゴリズムは、不整合な線形方程式系に対しても固定ステップサイズを用いて線形収束を達成し、通常は減少させる必要があるステップサイズの必要性を覆す。
• 理論的分析により、期待誤差が幾何的に減少することが示され、r^k ||x₀ - x⋆||² + α²G⋆/(1 - r) で有界である（r < 1）。
• 残差の直交性により∇F(x⋆) = 0 が成立するため、Ax⋆ ≠ b であっても収束性が維持される。
• シミュレートデータおよび実世界データにおける数値実験により、mSGDの実用的有用性とロバストネスが確認された。
• 収束速度は強い凸性パラメータμおよび勾配のリプシッツ定数Lgに依存する。