[論文レビュー] Error Estimation for Randomized Least-Squares Algorithms via the Bootstrap

Miles E. Lopes, Shusen Wang+1 more|arXiv (Cornell University)|Mar 21, 2018

Stochastic Gradient Optimization Techniques参考文献 4被引用数 9

ひとこと要約

本稿では、サンプルされたスケッチ行列を用いて解の誤差のサンプリング分布を近似することで、リアルタイムでランダム化最小二乗解の誤差をブートストラップに基づいて推定する手法を提案する。この手法は理論的に裏付けられ、データ駆動型の誤差推定を提供するが、計算的にも効率的であり、さまざまなスケッチアルゴリズムや誤差指標に適用可能である。

ABSTRACT

Over the course of the past decade, a variety of randomized algorithms have been proposed for computing approximate least-squares (LS) solutions in large-scale settings. A longstanding practical issue is that, for any given input, the user rarely knows the actual error of an approximate solution (relative to the exact solution). Likewise, it is difficult for the user to know precisely how much computation is needed to achieve the desired error tolerance. Consequently, the user often appeals to worst-case error bounds that tend to offer only qualitative guidance. As a more practical alternative, we propose a bootstrap method to compute a posteriori error estimates for randomized LS algorithms. These estimates permit the user to numerically assess the error of a given solution, and to predict how much work is needed to improve a "preliminary" solution. In addition, we provide theoretical consistency results for the method, which are the first such results in this context (to the best of our knowledge). From a practical standpoint, the method also has considerable flexibility, insofar as it can be applied to several popular sketching algorithms, as well as a variety of error metrics. Moreover, the extra step of error estimation does not add much cost to an underlying sketching algorithm. Finally, we demonstrate the effectiveness of the method with empirical results.

研究の動機と目的

• ランダム化最小二乗解に対して、実用的でデータ駆動型の誤差推定が不足している問題に取り組むこと。これは、そうでない場合、保守的な最悪ケース理論的上限に制限されるためである。
• 計算された解の実際の誤差を数値的に評価できる手法を開発すること。理論的最悪ケース保証に依存するのではなく、実際の誤差を評価できるようにする。
• 複数のスケッチアルゴリズム（例：クラシックスケッチ、ヘッシアンスケッチ、イテレーティブヘッシアンスケッチ）および誤差指標に適用可能な柔軟な誤差推定フレームワークを提供すること。
• 既存のスケッチパイプラインに追加で計算コストを最小限に抑える誤差推定ステップを保証すること。
• スケッチサイズの選定、収束モニタリング、反復解法における精度予測といった実用的意思決定を支援すること。

提案手法

• スケッチ行列のブートストラップリサンプリングを用いて、スケッチされたシステムの複数の摂動版を生成し、解のサンプリング分布の経験的推定を可能にする。
• 高次元統計におけるδ法および中心極限定理を用いて、ランダムスケッチにおける解の誤差の漸近的正規性を導出する。
• 主な洞察は、リサンプリングされた解の誤差分布が真の誤差のサンプリング分布を近似できることであり、これにより解の標準誤差の一貫した推定が可能になる。
• 各アルゴリズム固有の構造に適応することで、クラシックスケッチ、ヘッシアンスケッチ、イテレーティブヘッシアンスケッチを含む複数のスケッチタイプに適用可能である。
• リサンプリング誤差のブートストラップ分布を用いて、任意のノルム指標における誤差を推定することで、標準的なスペクトルノルムやフロベニウスノルムに限らない柔軟な誤差評価が可能になる。
• スケールされた誤差分布の弱収束が多変量正規分布に一致することを理論的に裏付け、ブートストラップ推定の一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 実用的で理論的裏付けのある方法として、ブートストラップ法を用いてランダム化最小二乗解の実際の誤差を推定することは可能か？
• RQ2 ブートストラップリサンプリングを、クラシックスケッチ、ヘッシアンスケッチ、IHSなどの異なるスケッチアルゴリズムにどのように適応して解の誤差を推定できるか？
• RQ3 スケッチサイズが増加するにつれて、ブートストラップ誤差推定は真の誤差分布に収束するか？
• RQ4 既存の理論的境界でカバーされていない任意のノルムにおいても、誤差を推定できるか？
• RQ5 誤差推定ステップの計算コストは、元のスケッチ計算に比べてどの程度か？

主な発見

• ブートストラップ法は、解の誤差分布を一貫して推定する。リスケールされた誤差は、弱い正規分布に収束する。これは、やや厳しい正則性条件のもとで成立する。
• 理論的分析により、誤差のブートストラップ分布が真の解の誤差のサンプリング分布と極限で一致することが示され、信頼性が保証される。
• リサンプリングプロセスが同じスケッチ構造を再利用するため、追加の計算コストを最小限に抑えつつ、正確な誤差推定が達成される。
• 実験的結果により、さまざまなスケッチアルゴリズムおよび入力設定において、ブートストラップ推定値が真の誤差をよく追跡することが示された。
• スケッチサイズの必要最小限の決定や、反復的スケッチアルゴリズムにおける収束の検出といった実用的意思決定を可能にする。
• 理論的境界における未知または保守的な定数に頼らないため、最悪ケース解析よりも情報量が多く、より頑健な代替手段を提供する。