[論文レビュー] Fast and Accurate Least-Mean-Squares Solvers

Alaa Maalouf, Ibrahim Jubran+1 more|arXiv (Cornell University)|Jun 11, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用数 10

ひとこと要約

本稿では、スケッチとコアセットの融合を活用して、合計を保存する $ d+1 $ 個のベクトルの重み付き部分集合を計算する、新規で高速かつ数値的に安定したアルゴリズムを提案する。$ O(nd) $ の時間計算量を達成しており、元々の Carathéodory の定理の $ O(n^2d^2) $ よりも著しく高速である。scikit-learn に実装された LMS ソルバーや他の同様のソルバで、最大 100 倍の高速化が可能であり、高い精度を維持する。

ABSTRACT

Least-mean squares (LMS) solvers such as Linear / Ridge / Lasso-Regression, SVD and Elastic-Net not only solve fundamental machine learning problems, but are also the building blocks in a variety of other methods, such as decision trees and matrix factorizations. We suggest an algorithm that gets a finite set of $n$ $d$-dimensional real vectors and returns a weighted subset of $d+1$ vectors whose sum is \emph{exactly} the same. The proof in Caratheodory's Theorem (1907) computes such a subset in $O(n^2d^2)$ time and thus not used in practice. Our algorithm computes this subset in $O(nd+d^4\log{n})$ time, using $O(\log n)$ calls to Caratheodory's construction on small but "smart" subsets. This is based on a novel paradigm of fusion between different data summarization techniques, known as sketches and coresets. For large values of $d$, we suggest a faster construction that takes $O(nd)$ time (linear in the input's size) and returns a weighted subset of $O(d)$ sparsified input points. Here, sparsified point means that some of its entries were replaced by zeroes. As an example application, we show how it can be used to boost the performance of existing LMS solvers, such as those in scikit-learn library, up to x100. Generalization for streaming and distributed (big) data is trivial. Extensive experimental results and complete open source code are also provided.

研究の動機と目的

• 線形回帰、リッジ回帰、lasso回帰などの従来の最小二乗平均（LMS）ソルバーにおける高い計算コストと数値的不安定性を解消すること。
• Carathéodory の定理の適用を、元々の $ O(n^2d^2) $ 時間から $ O(nd) $ 時間にまで高速化すること。この定理は、合計が同一となる $ d+1 $ 個のベクトルの部分集合の存在を保証する。
• 共分散行列の計算過程での誤差蓄積を最小限に抑えることで、GPU および 32 ビット浮動小数点環境における数値的安定性を向上させること。
• 精度を損なわずに入力サイズを縮小するコアセットを用いることで、大規模かつストリーミングデータの効率的でスケーラブルかつ分散処理可能な処理を可能とすること。

提案手法

• スケッチとコアセット技術を融合し、元の $ n $ 個のベクトルの合計を正確に保持する $ d+1 $ 個のベクトルの重み付き部分集合を計算する。この手法は Carathéodory の定理に基づく。
• 小規模で知的に選択された部分集合に対して $ O(\log n) $ 回の Carathéodory の構成呼び出しを用い、$ O(nd + d^4 \log n) $ の時間計算量を達成する。
• 大規模な $ n $ に対しては、線形時間 $ O(nd) $ の変種を導入し、一部の要素がゼロに設定された $ O(d) $ 点のスパース重み付き部分集合を返す。
• 計算されたコアセット $ S $ を、LMS ソルバーにおける元のデータ行列 $ A $ の代わりに使用し、共分散行列 $ A^T A $ を保持する。
• フルな $ A $ の代わりに、縮小されたコアセット $ S $ に対して SVD を適用することで、計算時間と数値誤差を著しく削減する。
• 精度と効率のバランスを取るために、パラメータ $ k_1 = 2d' + 2 $、$ k_2 = \lceil (d+1)^2 / d' \rceil $、$ \rho = 0.5 $ を用いた二段階のスケッチアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 Carathéodory の定理を、元々の $ O(n^2d^2) $ 時間から近似的に線形時間の $ O(nd) $ にまで低減することで、実用的応用が可能か？
• RQ2 スケッチとコアセットの統合により、従来の LMS ソルバーの代替として、高速かつ高精度かつ数値的に安定した手法が得られるか？
• RQ3 コアセットベースのアプローチは、scikit-learn に実装されたような既存の LMS ソルバーの性能をどの程度向上できるか？
• RQ4 時間と精度の観点から、異なるデータサイズ、次元数、浮動小数点精度の下で、この手法はどの程度スケーラブルか？
• RQ5 このフレームワークは、最小限のオーバーヘッドでストリーミング処理、分散処理、GPU 加速環境へと拡張可能か？

主な発見

• 提案手法は、元の定理の $ O(n^2d^2) $ 時間から著しく改善された $ O(nd + d^4 \log n) $ 時間で Carathéodory の部分集合を計算できる。
• 大規模な $ n $ に対しては、入力サイズに比例する $ O(nd) $ 時間計算量を達成し、高次元データのニアリアルタイム処理を可能にする。
• 従来の LMS ソルバー（例：scikit-learn に実装されたもの）の実行時間を最大 100 倍高速化でき、数値的精度は維持または向上させる。
• 実験の結果、32 ビット浮動小数点環境では誤差蓄積が顕著であるため、SKETCH + SVD よりもコアセットベースのアプローチが数値誤差を著しく低減することが示された。
• フレームワークはストリーミングおよび分散データへと容易に一般化可能であり、コアアルゴリズムの変更は最小限に抑えられる。
• 合成データおよび実データを用いた広範な実験により、次元数、データサイズ、分布の違いに関わらず、本手法のロバスト性が確認された。誤差ヒストограмはゼロのまわりに強く集中している。