[論文レビュー] Total Least Squares Regression in Input Sparsity Time

Huaian Diao, Zhao Song+2 more|arXiv (Cornell University)|Sep 27, 2019

Statistical and numerical algorithms被引用数 4

ひとこと要約

この論文は、入力スパarsity時間で動作するTotal Least Squares (TLS)回帰のための新しいアルゴリズムを提示している。$(1+\epsilon)$-近似解を、$\widetilde{O}(\operatorname{nnz}(A) + \operatorname{nnz}(B)) + \operatorname{poly}(n/\epsilon) \cdot d$ の実行時間で達成し、大きな次元 $m$ に依存しない。低ランク近似を明示的に計算しないで、暗黙の連立一次方程式を解くことで、大規模でスパースな行列に対しても効率的なTLS計算を実現している。

ABSTRACT

In the total least squares problem, one is given an $m imes n$ matrix $A$, and an $m imes d$ matrix $B$, and one seeks to "correct" both $A$ and $B$, obtaining matrices $\hat{A}$ and $\hat{B}$, so that there exists an $X$ satisfying the equation $\hat{A}X = \hat{B}$. Typically the problem is overconstrained, meaning that $m \gg \max(n,d)$. The cost of the solution $\hat{A}, \hat{B}$ is given by $\|A-\hat{A}\|_F^2 + \|B - \hat{B}\|_F^2$. We give an algorithm for finding a solution $X$ to the linear system $\hat{A}X=\hat{B}$ for which the cost $\|A-\hat{A}\|_F^2 + \|B-\hat{B}\|_F^2$ is at most a multiplicative $(1+ε)$ factor times the optimal cost, up to an additive error $η$ that may be an arbitrarily small function of $n$. Importantly, our running time is $ ilde{O}( \mathrm{nnz}(A) + \mathrm{nnz}(B) ) + \mathrm{poly}(n/ε) \cdot d$, where for a matrix $C$, $\mathrm{nnz}(C)$ denotes its number of non-zero entries. Importantly, our running time does not directly depend on the large parameter $m$. As total least squares regression is known to be solvable via low rank approximation, a natural approach is to invoke fast algorithms for approximate low rank approximation, obtaining matrices $\hat{A}$ and $\hat{B}$ from this low rank approximation, and then solving for $X$ so that $\hat{A}X = \hat{B}$. However, existing algorithms do not apply since in total least squares the rank of the low rank approximation needs to be $n$, and so the running time of known methods would be at least $mn^2$. In contrast, we are able to achieve a much faster running time for finding $X$ by never explicitly forming the equation $\hat{A} X = \hat{B}$, but instead solving for an $X$ which is a solution to an implicit such equation. Finally, we generalize our algorithm to the total least squares problem with regularization.

研究の動機と目的

• 特に $m \gg n,d$ の場合に $m$ に悪影響を及げるため、従来の全最小二乗法の計算非効率性に対処すること。
• $[A,B]$ のランク $n$ の低ランク近似を明示的に計算しないで、全最小二乗問題の $(1+\epsilon)$-近似解を得ること。
• 正則化を組み込むことで、劣悪条件やノイズの多い状況でもロバスト性を確保すること。
• 実行時間の依存関係を $A$ と $B$ の非ゼロ要素数、および $n$ と $1/\epsilon$ の多項式関数に制限し、$m$ に依存しないようにすること。

提案手法

• アルゴリズムは、$[A,B]$ の低ランク近似を明示的に形成しないで、暗黙のTLS問題をランダム化スケッチングにより解く。
• サブサンプルド・ハダマード変換やその他のスパース射影を用いて、結合行列 $C = [A,B]$ のスケッチを構築する。
• $\widehat{A}$ と $\widehat{B}$ の明示的計算を避けるために、スケッチされた行列から導かれる暗黙の一次方程式を解いて $X$ を求める。
• SVD と低ランク近似の性質を活用し、解 $X$ が、全コスト $\|A - \widehat{A}\|_F^2 + \|B - \widehat{B}\|_F^2$ の下で $\|\widehat{A}X - \widehat{B}\|_F^2$ を最小化することを保証する。
• 正則化された場合、$\widehat{C} = \widehat{U}\widehat{V}$ の因数分解形を導入し、Tikhonov正則化を用いて $\widehat{U}, \widehat{V}$ を最適化する。
• 出力コストが最適コストの $1+\epsilon$ 因数以内（加法的誤差 $\eta$ を含む）に収まることが、高い確率で保証される。

実験結果

リサーチクエスチョン

• RQ1 全最小二乗回帰は、$m$ に依存しない入力スパarsity時間で解けるか？
• RQ2 $[A,B]$ のランク $n$ の近似を明示的に計算しないで、$(1+\epsilon)$-近似TLS解を得ることは可能か？
• RQ3 近似保証を維持したまま、正則化を高速なTLSアルゴリズムに組み込む方法は何か？
• RQ4 特に $\operatorname{nnz}(A)$ と $\operatorname{nnz}(B)$ が小さい場合に、スパース入力行列に対しても効率的なアルゴリズムは可能か？

主な発見

• アルゴリズムは $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{nnz}(B)) + \operatorname{poly}(n/\epsilon) \cdot d$ の時間で実行され、$m$ に依存しないため、大規模問題に適している。
• 出力コストは最適な全最小二乗コストの $1+\epsilon$ 因数以内（加法的誤差 $\eta$ を含む）に収まり、高い確率で達成される。
• $[A,B]$ の明示的低ランク近似を避けることで、標準的なSVDベースの手法よりも高速な計算が可能になる。
• 正則化されたTLS問題においても、アルゴリズムは最適コストの $1+\epsilon$ 因数以内の解を出力する。
• $m=10$, $n=5$ のトイ例では、真のTLSコストは1であり、実行ごとに3.4、4.3、5.5455のコストが出力され、実用的な収束を示している。
• 1000回の実行におけるコスト分布の結果から、特に低ランクでスパースな設定では、最適なTLSコストに近い解が頻繁に得られていることが分かった。