[논문 리뷰] Faster Least Squares Approximation

Petros Drineas, Michael W. Mahoney외 2명|arXiv (Cornell University)|2007. 10. 07.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 16

한 줄 요약

이 논문은 랜덤라이즈드 힐버트 변환을 통해 데이터를 사전 처리한 후, 제약 조건을 균일하게 샘플링하거나 희소 랜덤 프로젝션을 적용함으로써 최소 제곱 근사의 속도를 높이는 두 가지 랜덤 알고리즘을 제시한다. 이 알고리즘들은 n ≫ d인 경우 표준 O(nd²) 시간에 비해 훨씬 빠른 O(nd ln d) 시간 내에 최적의 최소 제곱 해에 대한 상대 오차 근사치를 달성한다.

ABSTRACT

Least squares approximation is a technique to find an approximate solution to a system of linear equations that has no exact solution. In a typical setting, one lets $n$ be the number of constraints and $d$ be the number of variables, with $n \gg d$. Then, existing exact methods find a solution vector in $O(nd^2)$ time. We present two randomized algorithms that provide very accurate relative-error approximations to the optimal value and the solution vector of a least squares approximation problem more rapidly than existing exact algorithms. Both of our algorithms preprocess the data with the Randomized Hadamard Transform. One then uniformly randomly samples constraints and solves the smaller problem on those constraints, and the other performs a sparse random projection and solves the smaller problem on those projected coordinates. In both cases, solving the smaller problem provides relative-error approximations, and, if $n$ is sufficiently larger than $d$, the approximate solution can be computed in $O(nd \log d)$ time.

연구 동기 및 목표

• n ≫ d인 경우에 대규모 과잉정의 문제에서 정확한 최소 제곱 해의 계산적 병목 현상을 해결한다.
• 최적의 해 벡터와 잔차 노름에 대한 상대 오차 보장을 유지하면서 더 빠른 알고리즘을 개발한다.
• 기존 방법의 O(nd²) 시간 복잡도를 O(nd ln d)로 감소시키면서 정확도를 유지한다.
• 구조적 랜덤 프로젝션과 샘플링을 사용한 랜덤 알고리즘의 이론적 런타임 및 오차 한계를 제공한다.

제안 방법

• 입력 행렬 A와 벡터 b에 랜덤라이즈드 힐버트 변환(RHT)을 적용하여 일관성(coherence)을 감소시키고, 효율적인 샘플링을 가능하게 한다.
• RHT 변환된 시스템에서 r개의 제약 조건을 균일하게 샘플링하여 더 작은 최소 제곱 문제를 푸는 방식을 사용한다.
• 희소성 파라미터 q를 가진 희소 랜덤 프로젝션 행렬 T를 적용하여 변환된 데이터를 저차원 공간으로 투영한다.
• 샘플링되거나 프로젝션된 데이터를 기반으로 축소된 최소 제곱 문제를 풀어 근사 해 벡터를 도출한다.
• 특이값 분해(SVD)와 정규 방정식의 성질을 활용하여 근사 해를 진짜 최적 해와 연결한다.
• 집중 부등식과 행렬 尾부 등수(예: 마르코프 부등식)를 사용하여 잔차와 해 벡터의 기대 오차를 한정한다.

실험 결과

연구 질문

• RQ1 랜덤 샘플링 및 프로젝션 기법을 사용하여 최소 제곱 근사의 속도를 높일 수 있으며, 상대 오차 보장을 유지할 수 있는가?
• RQ2 잔차 노름에서 (1+ε)-상대 오차를 달성하기 위해 필요한 최소 샘플링 또는 프로젝션 제약 조건 수는 얼마인가?
• RQ3 A의 조건수와 b가 A의 열공간과 정렬된 정도가 근사 해의 오차에 어떤 영향을 미치는가?
• RQ4 랜덤라이즈드 힐버트 변환을 통해 데이터를 사전 처리하면, 균일한 샘플링 또는 희소 프로젝션을 통해 정확한 저질서 근사가 가능해지는가?
• RQ5 이러한 알고리즘의 이론적 런타임은 얼마이며, n과 d에 따라 어떻게 스케일링되는가?

주요 결과

• 제안된 알고리즘은 최적의 잔차 노름 ‖Ax−b‖₂에 대해 (1+ε)-상대 오차 근사치를 확률 0.8 이상으로 달성한다.
• 해 벡터 오차는 ‖x_opt − x̃_opt‖₂ ≤ √ε (κ(A)√(γ⁻²−1)) ‖x_opt‖₂로 한정되며, 여기서 γ는 b의 노름 중 A의 열공간에 속하는 비율이다.
• n이 d보다 충분히 크고 e^d 이하일 경우 알고리즘은 O(nd ln d) 시간 내에 실행되며, 표준 O(nd²) 시간에 비해 상당한 속도 향상을 제공한다.
• 실패 확률를 1−δ로 줄이기 위해 알고리즘을 O(log(1/δ))번 반복할 수 있으며, 이는 런타임에 상수 요소만 증가시킨다.
• 희소 랜덤 프로젝션 방법은 기대 O(nkq)개의 비영 요소를 가진 행렬 T를 사용하며, 시간 복잡도는 O(nd) + O(nd log(nkq)) + O(kd²)로 한정된다.
• 집중 경계와 행렬 페르터베이션 분석을 통해 특히 제9 및 제10 레퍼런스 레퍼런스에서 제안된 프로젝션 내적의 기대 오차에 대한 이론적 보장을 확립하였다.