[論文レビュー] Adapted Stochastic Gradient Descent for Linear Systems with Missing Data

Anna Ma, Deanna Needell|arXiv (Cornell University)|Feb 23, 2017

Stochastic Gradient Optimization Techniques参考文献 21被引用数 3

ひとこと要約

本稿では、欠損データを伴う線形方程式系を解くために適応された確率的勾配降下法であるmSGDを提案する。勾配更新ルールを不完全な要素を考慮するように修正することで、mSGDは理論的収束性を達成し、シミュレートされたデータおよび実世界のデータセットの両方で優れた性能を示し、大規模で不完全な線形方程式系に対するスケーラブルな解決策を提供する。

ABSTRACT

Traditional methods for solving linear systems have quickly become impractical due to an increase in the size of available data. Utilizing massive amounts of data is further complicated when the data is incomplete or has missing entries. In this work, we address the obstacles presented when working with large data and incomplete data simultaneously. In particular, we propose to adapt the Stochastic Gradient Descent method to address missing data in linear systems. Our proposed algorithm, the Adapted Stochastic Gradient Descent for Missing Data method (mSGD), is introduced and theoretical convergence guarantees are provided. In addition, we include numerical experiments on simulated and real world data that demonstrate the usefulness of our method.

研究の動機と目的

• データが不完全または欠損値を含む場合に、大規模な線形方程式系を解くという課題に対処すること。
• 欠損データがあっても効率性と収束性を維持するスケーラブルな最適化手法を開発すること。
• 現実的なデータ条件下で、提案手法の理論的収束保証を提供すること。
• 合成データおよび実世界のデータセットを用いた数値実験により、手法の有効性を検証すること。

提案手法

• mSGDアルゴリズムは、標準的な確率的勾配降下法の更新ルールを、欠損値を無視して勾配計算に組み込むことで、不完全なデータに対応するように変更する。
• 解ベクトルを反復的に更新するために、利用可能なデータ要素に対する確率的サンプリング戦略を用いる。
• データおよびシステム構造に対する弱い仮定の下で収束を保証するステップサイズスケジュールを組み込む。
• 理論的分析により、欠損度が有界でかつサンプリングが一貫している条件下で、期待値として真の解に収束することを確立する。
• メモリ効率が良く、ストリーミングまたは大規模データアプリケーションに適したように設計されている。
• 欠損値を観測されないものとして扱い、勾配寄与は観測済みデータポイントでのみ調整される。

実験結果

リサーチクエスチョン

• RQ1 欠損値を含むデータにおいて、確率的勾配降下法を線形方程式系の解法に効果的に適応できるか？
• RQ2 提案されたmSGD手法は、欠損データの条件下でも真の解に収束を保つのか？
• RQ3 mSGDは、欠損データを含むデータセットにおいて、従来の手法と比較してスケーラビリティと正確性の点で優れているか？
• RQ4 欠損データが存在する状況下で、mSGDの収束に対する理論的保証をどの程度確立できるか？

主な発見

• mSGDアルゴリズムは、データ利用可能性およびサンプリングに関する弱い仮定の下で、真の線形方程式系の解に期待値として収束する。
• 数値実験の結果、mSGDは欠損値を含むデータセットにおいて、標準的なSGDや他のベースライン手法よりも解の正確性が優れていることが示された。
• 大規模な問題に対しても効率的にスケーリングされ、低メモリおよび計算オーバーヘッドを維持している。
• 実世界データに対する実証的結果は、mSGDが欠損データの状況においても頑健で実用的であることを確認している。
• 理論的分析により、データがランダムに欠損していても、サンプリング機構が一貫している限り、mSGDは収束することが確認された。