[論文レビュー] Sketching Meets Random Projection in the Dual: A Provable Recovery Algorithm for Big and High-dimensional Data

Jialei Wang, Jason D. Lee+3 more|arXiv (Cornell University)|Oct 10, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、反復的ヘッセスケッチと双対ランダムプロジェクションをプリコンディショニング共役勾配法によって統合することで、高次元・大規模な機械学習問題における最適解の回復を高速化するプリマル・デュアルスケッチアルゴリズムを提案する。対数的スケッチ反復回数で証明可能な収束性を確立し、プリマル・デュアル最適化によるサンプルサイズと次元の共同低減により、任意の精度での回復を達成する。

ABSTRACT

Sketching techniques have become popular for scaling up machine learning algorithms by reducing the sample size or dimensionality of massive data sets, while still maintaining the statistical power of big data. In this paper, we study sketching from an optimization point of view: we first show that the iterative Hessian sketch is an optimization process with preconditioning, and develop accelerated iterative Hessian sketch via the searching the conjugate direction; we then establish primal-dual connections between the Hessian sketch and dual random projection, and apply the preconditioned conjugate gradient approach on the dual problem, which leads to the accelerated iterative dual random projection methods. Finally to tackle the challenges from both large sample size and high-dimensionality, we propose the primal-dual sketch, which iteratively sketches the primal and dual formulations. We show that using a logarithmic number of calls to solvers of small scale problem, primal-dual sketch is able to recover the optimum of the original problem up to arbitrary precision. The proposed algorithms are validated via extensive experiments on synthetic and real data sets which complements our theoretical results.

研究の動機と目的

• サンプルサイズと特徴次元の両方が巨大な大規模・高次元機械学習問題の解法における計算ボトル neck を解消すること。
• 従来のスケッチ手法が高い精度を求めるために指数的増加するスケッチ次元を必要とするという制限を克服すること。
• 最適化理論を通じてプリマル（ヘッセスケッチ）とデュアル（ランダムプロジェクション）スケッチ技術を統合するフレームワークを構築すること。
• 反復的サブ問題において、サンプルサイズと次元を同時に低減する、画期的なプリマル・デュアルスケッチ手法を提案すること。
• プリコンディショニング共役勾配法をデュアル問題に適用することで、加速された収束レートを達成する、証明可能な収束性を確立すること。

提案手法

• 共役方向探索を用いたプリコンディショニング最適化プロセスとして反復的ヘッセスケッチを再定式化し、収束を加速する。
• プリマル・デュアル同等性を確立：デュアル空間におけるランダムプロジェクションがヘッセスケッチと同等であることを示す。
• デュアル問題にプリコンディショニング共役勾配を適用し、収束が速い反復的デュアルランダムプロジェクション（IDRP）を実現する。
• プリマルとデュアル定式化を交互にスケッチするプリマル・デュアルスケッチアルゴリズムを提案し、各反復でサンプルサイズと次元を低減する。
• 小スケールソルバーへの呼び出し回数を対数的数に制限することで、元の問題の最適解を任意の精度で回復する。
• 行列濃度および類似性の境界を活用し、ランダムプロジェクション下での条件数と収束行動を分析する。

実験結果

リサーチクエスチョン

• RQ1 共役勾配とプリコンディショニングを用いることで、高精度解を得るためのスケッチ反復回数を削減できるか？
• RQ2 最適化的同等性の観点から、ヘッセスケッチ（プリマル）とデュアルランダムプロジェクション（デュアル）の正確な関係は何か？
• RQ3 サンプルサイズと次元を同時に低減する統合的スケッチ戦略は、高次元設定において単一視点のスケッチ手法を上回る性能を示せるか？
• RQ4 このような反復的プリマル・デュアルスケッチフレームワークにおいて、収束速度と解の精度に関する理論的保証はどのようなものか？
• RQ5 スケッチされたヘッセ行列の条件数は収束にどのように影響するか？また、ランダムプロジェクション下でその条件数を境界化できるか？

主な発見

• 加速された反復的ヘッセスケッチは、各反復の計算コストを維持したまま、所定の精度に到達するためのスケッチ反復回数を削減する。
• ヘッセスケッチとデュアルランダムプロジェクションの間で証明可能な同等性を確立：後者はデュアル空間でヘッセスケッチを実行することと同等である。
• 提案されたプリマル・デュアルスケッチアルゴリズムは、小スケールソルバーへの対数的呼び出し回数のみで、元の問題の最適解を任意の精度で回復する。
• 理論的分析により、スケッチされたヘッセ行列の条件数が高確率で有界であることが示され、ランダムプロジェクション下でも高速収束が可能である。
• プリマル・デュアルスケッチの誤差境界は反復回数に従って幾何級数的に減少し、収束レートはスケッチ次元と問題の条件数に依存する。
• 合成データおよび実世界のデータセットにおける実験結果が理論的発見を裏付け、ベースラインのスケッチ手法よりも収束が速く、精度が優れていることを示している。