[論文レビュー] Dimensionality Reduction for Stationary Time Series via Stochastic Nonconvex Optimization

Minshuo Chen, Lin F. Yang+2 more|arXiv (Cornell University)|Jan 1, 2018

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、定常時系列におけるストリーミングPCAのためのダウンサンプリング拡張Oja法を提案し、確率的非凸最適化によりデータ依存性に起因するバイアスを低減する。拡張されたOja法は、拡散近似を用いて漸近的収束速度とほぼ最適な標本複雑度を確立し、非凸的かつ相関のあるデータ設定において、保証付きの理論的結果を提供する。

ABSTRACT

Stochastic optimization naturally arises in machine learning. Efficient algorithms with provable guarantees, however, are still largely missing, when the objective function is nonconvex and the data points are dependent. This paper studies this fundamental challenge through a streaming PCA problem for stationary time series data. Specifically, our goal is to estimate the principle component of time series data with respect to the covariance matrix of the stationary distribution. Computationally, we propose a variant of Oja's algorithm combined with downsampling to control the bias of the stochastic gradient caused by the data dependency. Theoretically, we quantify the uncertainty of our proposed stochastic algorithm based on diffusion approximations. This allows us to prove the asymptotic rate of convergence and further implies near optimal asymptotic sample complexity. Numerical experiments are provided to support our analysis.

研究の動機と目的

• データ依存性下での非凸目的関数に対する、保証付きの収束性を有する効率的な確率的最適化アルゴリズムの欠如に取り組む。
• 定常分布の共分散行列の下で時系列データの主成分を推定する課題に取り組む。
• 定常時系列データにおける時間的依存性に起因する確率的勾配のバイアスを制御する。
• 相関のあるデータ設定下でのストリーミングPCAにおける理論的収束速度と標本複雑度を確立する。

提案手法

• 時系列データの依存性に起因するバイアスを軽減するために、ダウンサンプリングを組み込んだ変更版Oja法を提案する。
• ストリーミングデータ下でのPCA目的関数の非凸性を扱うために、確率的非凸最適化を用いる。
• 拡散近似を適用して不確実性を定量化し、アルゴリズムの漸近的挙動を分析する。
• アルゴリズムによって誘導される確率過程の拡散極限に基づいて収束速度を導出する。
• 相関のあるデータポイントからのバイアスを制御しながら、計算効率を維持する。
• 最適化問題を、定常共分散行列の主要固有ベクトルを推定することを目的とするストリーミングPCAタスクとして定式化する。

実験結果

リサーチクエスチョン

• RQ1 非凸PCA目的関数に対して、相関のある時系列データ下で保証付き収束を達成できる確率的最適化アルゴリズムは存在するか？
• RQ2 データ依存性は、ストリーミングPCAにおける確率的勾配推定のバイアスにどのように影響するか？
• RQ3 定常時系列下で、提案手法の漸近的収束速度はどの程度か？
• RQ4 提案手法は、相関のあるデータにおける主成分推定において、ほぼ最適な標本複雑度を達成できるか？
• RQ5 ダウンサンプリングは、確率的勾配更新におけるバイアス・バリアンストレードオフにどのように影響するか？

主な発見

• 提案手法は、既知の理論的下界と一致する漸近的収束速度を達成しており、近似的に最適性を示している。
• 拡散近似は、確率的アルゴリズムの不確実性を的確に定量化でき、厳密な理論的分析を可能にした。
• ダウンサンプリングは、時系列における時間的依存性に起因する確率的勾配のバイアスを効果的に低減した。
• 本手法は、定常依存下でのストリーミングPCA問題に対して、ほぼ最適な保証付き標本複雑度を確立した。
• 数値実験により理論的結果が妥当であることが検証され、一貫した収束性とダウンサンプリングによるバイアス低減が確認された。
• 解析により、非i.i.d.データ下でも計算効率を維持しながら、強力な理論的保証を達成していることが確認された。