[논문 리뷰] Total Least Squares Regression in Input Sparsity Time

Huaian Diao, Zhao Song외 2명|arXiv (Cornell University)|2019. 09. 27.

Statistical and numerical algorithms인용 수 4

한 줄 요약

이 논문은 입력 흐름 시간 내에서 작동하는 새로운 알고리즘을 제안한다. 이 알고리즘은 전체 최소 제곱법(TLS) 회귀 문제를 해결하며, $m$의 큰 차원에 영향을 받지 않고 $(1+\epsilon)$-근사해를 구현한다. 런타임은 $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{nnz}(B)) + \operatorname{poly}(n/\epsilon) \cdot d$이며, 명시적인 저랭크 근사 계산을 피하기 위해 암시적 시스템을 해결함으로써, 큰 희소 행렬에 대한 효율적인 TLS 계산을 가능하게 한다.

ABSTRACT

In the total least squares problem, one is given an $m imes n$ matrix $A$, and an $m imes d$ matrix $B$, and one seeks to "correct" both $A$ and $B$, obtaining matrices $\hat{A}$ and $\hat{B}$, so that there exists an $X$ satisfying the equation $\hat{A}X = \hat{B}$. Typically the problem is overconstrained, meaning that $m \gg \max(n,d)$. The cost of the solution $\hat{A}, \hat{B}$ is given by $\|A-\hat{A}\|_F^2 + \|B - \hat{B}\|_F^2$. We give an algorithm for finding a solution $X$ to the linear system $\hat{A}X=\hat{B}$ for which the cost $\|A-\hat{A}\|_F^2 + \|B-\hat{B}\|_F^2$ is at most a multiplicative $(1+ε)$ factor times the optimal cost, up to an additive error $η$ that may be an arbitrarily small function of $n$. Importantly, our running time is $ ilde{O}( \mathrm{nnz}(A) + \mathrm{nnz}(B) ) + \mathrm{poly}(n/ε) \cdot d$, where for a matrix $C$, $\mathrm{nnz}(C)$ denotes its number of non-zero entries. Importantly, our running time does not directly depend on the large parameter $m$. As total least squares regression is known to be solvable via low rank approximation, a natural approach is to invoke fast algorithms for approximate low rank approximation, obtaining matrices $\hat{A}$ and $\hat{B}$ from this low rank approximation, and then solving for $X$ so that $\hat{A}X = \hat{B}$. However, existing algorithms do not apply since in total least squares the rank of the low rank approximation needs to be $n$, and so the running time of known methods would be at least $mn^2$. In contrast, we are able to achieve a much faster running time for finding $X$ by never explicitly forming the equation $\hat{A} X = \hat{B}$, but instead solving for an $X$ which is a solution to an implicit such equation. Finally, we generalize our algorithm to the total least squares problem with regularization.

연구 동기 및 목표

• 전통적인 전체 최소 제곱법 방법이 $m$에 대해 비효율적으로 작동하는 문제를 해결하기 위해, 특히 $m \gg n,d$일 경우에 유용하게 작동하도록 하기 위해.
• 행렬 $[A,B]$의 랭크-$n$ 저랭크 근사를 명시적으로 계산하지 않고도 전체 최소 제곱법 문제의 $(1+\epsilon)$-근사해를 도출할 수 있는 방법을 설계하기 위해.
• 정규화를 통합하여, 불안정하거나 노이즈가 많은 환경에서도 강건성을 확보할 수 있도록 하기 위해.
• 런타임이 $A$와 $B$의 비제로 원소 수에만 의존하고, $n$과 $1/\epsilon$에 다항식적 의존성을 가지며, $m$에 의존하지 않는 결과를 도출하기 위해.

제안 방법

• 알고리즘은 $[A,B]$의 저랭크 근사를 명시적으로 형성하지 않고도 암시적으로 TLS 문제를 해결하기 위해 랜덤화 스케칭을 사용한다.
• 하나의 희소 투영 또는 하다드 변환을 활용한 부분 표본 추출을 통해 병합된 행렬 $C = [A,B]$의 스케치를 구성한다.
• 명시적인 $\widehat{A}$와 $\widehat{B}$ 계산을 피하기 위해 스케치된 행렬에서 유도된 암시적 선형 시스템을 풀어 $X$를 구한다.
• 특이값 분해(SVD)와 저랭크 근사의 성질을 활용하여, 솔루션 $X$가 전체 비용 $\|A - \widehat{A}\|_F^2 + \|B - \widehat{B}\|_F^2$ 하에서 $\|\widehat{A}X - \widehat{B}\|_F^2$ 를 최소화하도록 보장한다.
• 정규화된 경우, $\widehat{C} = \widehat{U}\widehat{V}$ 의 인수 분해 형태를 도입하고, 티호노프 정규화를 적용하여 $\widehat{U}, \widehat{V}$ 를 최적화한다.
• 알고리즘이 출력 비용이 최적 비용의 $1+\epsilon$ 이내에 있으며, 높은 확률로 작은 덧셈 오차 $\eta$를 포함하도록 보장한다.

실험 결과

연구 질문

• RQ1 입력 흐름 시간 내에서 전체 최소 제곱법 회귀를 해결할 수 있는가, 즉 런타임이 $m$에 독립적인가?
• RQ2 행렬 $[A,B]$의 랭크-$n$ 근사를 명시적으로 계산하지 않고도 $(1+\epsilon)$-근사 TLS 해를 도출할 수 있는가?
• RQ3 정규화를 빠른 TLS 알고리즘에 통합하면서도 근사 보장을 유지할 수 있는가?
• RQ4 희소 입력 행렬에 대해 효율적인 알고리즘이 설계될 수 있는가, 특히 $\operatorname{nnz}(A)$와 $\operatorname{nnz}(B)$ 가 작을 경우에 유용한가?

주요 결과

• 알고리즘은 $\widetilde{O}(\operatorname{nnz}(A) + \operatorname{nnz}(B)) + \operatorname{poly}(n/\epsilon) \cdot d$ 시간 내에 실행되며, 이는 $m$에 영향을 받지 않아 대규모 문제에 적합하다.
• 비용은 최적의 전체 최소 제곱법 비용의 $1+\epsilon$ 배 이내이며, 높은 확률로 임의의 작은 덧셈 오차 $\eta$를 포함한다.
• 명시적인 $[A,B]$ 저랭크 근사를 피하기 위해 암시적 시스템을 해결함으로써, 기존 SVD 기반 접근보다 더 빠른 계산이 가능하다.
• 정규화된 TLS 문제의 경우, 알고리즘은 정규화 항까지 포함한 최적 비용의 $1+\epsilon$ 이내의 솔루션을 출력한다.
• 예시로 $m=10$, $n=5$ 인 경우 진짜 TLS 비용은 1이며, 알고리즘의 출력은 런타임마다 3.4, 4.3, 5.5455의 비용을 기록하여 실질적인 수렴을 보였다.
• 1000회의 런타임에 걸친 실험적 비용 분포 분석 결과, 특히 저랭크이고 희소한 환경에서 알고리즘이 최적 TLS 비용에 가까운 솔루션을 자주 생성하는 것으로 나타났다.