[論文レビュー] A Bootstrap Method for Error Estimation in Randomized Matrix Multiplication

Miles E. Lopes, Shusen Wang+1 more|arXiv (Cornell University)|Aug 6, 2017

Stochastic Gradient Optimization Techniques参考文献 48被引用数 3

ひとこと要約

本稿では、次元を低減した場合のスケッチ法の精度を関数として効率的に推定するための補外技術を用いて、確率的行列積における誤差を推定するためのブートストラップ法を提案する。この手法は、計算コストを著しく増加させることなく、問題固有の誤差推定を可能にし、大規模な行列計算におけるコスト-精度のトレードオフについて実用的な指針を提供する。

ABSTRACT

In recent years, randomized methods for numerical linear algebra have received growing interest as a general approach to large-scale problems. Typically, the essential ingredient of these methods is some form of randomized dimension reduction, which accelerates computations, but also creates random approximation error. In this way, the dimension reduction step encodes a tradeoff between cost and accuracy. However, the exact numerical relationship between cost and accuracy is typically unknown, and consequently, it may be difficult for the user to precisely know (1) how accurate a given solution is, or (2) how much computation is needed to achieve a given level of accuracy. In the current paper, we study randomized matrix multiplication (sketching) as a prototype setting for addressing these general problems. As a solution, we develop a bootstrap method for \emph{directly estimating} the accuracy as a function of the reduced dimension (as opposed to deriving worst-case bounds on the accuracy in terms of the reduced dimension). From a computational standpoint, the proposed method does not substantially increase the cost of standard sketching methods, and this is made possible by an "extrapolation" technique. In addition, we provide both theoretical and empirical results to demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 実世界の応用において、確率的行列積の実際の精度を推定する実用的な手法の不足に応えること。
• 過剰に悲観的な最悪ケース理論的境界を避ける問題固有の誤差推定技術を提供すること。
• 標準的なスケッチアルゴリズムのコストを著しく増加させない計算効率の良い手法を開発すること。
• 大規模な行列問題において、望ましい精度レベルを達成するための適切なスケッチサイズをユーザーが特定できるようにすること。
• 行列積にとどまらず、他の確率的数値線形代数手法へも適用可能な誤差推定の枠組みを確立すること。

提案手法

• 本手法は、スケッチサイズ t の関数として、確率的行列積の要素ごとの誤差（ℓ∞-ノルム）を推定するためのブートストラップベースのアプローチを導入する。
• 計算コストを削減するために補外技術を活用し、既存のスケッチ計算を再利用して複数のスケッチサイズにおける誤差を推定する。
• 元のスケッチからの再サンプリングを用いて誤差分布をモデル化し、95パーセンタイルなどの分位数の推定を可能にする。
• 理論的分析により、弱い仮定の下でブートストラップ推定量が一貫性を示すことが示され、集中不等式およびLévy-Prokhorov距離を用いて境界が導出される。
• Lévy-Prokhorov距離と分位数の差の関係を示す重要な技術的補題に依存しており、信頼性の高い誤差定量化を保証する。
• 既存のスケッチパイプラインに即座に統合可能なように設計されており、標準的なスケッチコードへのわずかな変更で実装可能である。

実験結果

リサーチクエスチョン

• RQ1 与えられた入力行列ペアに対して、最悪ケース理論的境界に依存せず、実際に発生する誤差をどのように推定できるか。
• RQ2 実際のスケッチサイズ t とそれによる誤差の関係は何か、そしてその関係をどのように効率的に推定できるか。
• RQ3 計算コストを著しく増加させることなく、確率的行列積の誤差を推定できるブートストラップ法を設計できるか。
• RQ4 提案手法のブートストラップ法は、さまざまな行列次元およびスケッチサイズにおいて、95パーセンタイルなどの誤差分位数をどれほど正確に推定できるか。
• RQ5 この手法の性能は、条件数やコherenceなどの入力行列の構造にどれほど依存するか。

主な発見

• 提案されたブートストラップ法は、さまざまなスケッチサイズにおいて確率的行列積のℓ∞-ノルム誤差を正確に推定でき、実験結果では真の誤差と強い一致を示す。
• 補外技術により、既存のスケッチ計算を再利用するため、計算コストの増加は最小限に抑えられ、複数の t 値における誤差推定が可能になる。
• 理論的分析により、標準的な仮定の下でブートストラップ推定量が一貫性を示すことが確認され、行列次元およびスケッチサイズに伴い有利にスケーリングされる誤差境界が得られる。
• 従来の最悪ケース境界はしばしば過剰に保守的であり、問題固有の誤差挙動を反映していないため、本手法はそれを上回る性能を示す。
• 合成データおよび実世界データを用いた実証的検証により、ブートストラップ法は誤差分位数を信頼性高く推定でき、望ましい精度レベルを達成するための最適なスケッチサイズの選定を可能にする。
• 条件数や入力構造の変動に対しても本手法はロバストであり、多様な数値線形代数ワークロードにおいて実用的であることが示された。