[논문 리뷰] The Fast Cauchy Transform: with Applications to Basis Construction, Regression, and Subspace Approximation in L1

Kenneth L. Clarkson, Petros Drineas외 4명|arXiv (Cornell University)|2012. 07. 19.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 빠른 코시 변환(Fast Cauchy Transform)을 도입하여, n×d 입력 행렬 A와 벡터 b로부터 크기 S = O(d log d)인 코어세트를 구성함으로써 ℓ₁ 회귀 및 관련 문제를 가속화하는 새로운 방법을 제시한다. 알고리즘은 O(nd log n) 시간에 작동하여, 코시 랜덤 변수와 존슨-린든스트라우스 유형 변환을 사용한 빠른 부분공간 임bedding을 통해 대규모 문제에 대해 near-optimal ℓ₁ 회귀를 가능하게 하며, p=1 및 일반적인 p∈[1,∞)에 대해 이전 방법보다 크게 향상시킨다.

ABSTRACT

We give fast algorithms for $\ell_p$ regression and related problems: for an $n imes d$ input matrix $A$ and vector $b\in\R^n$, in $O(nd\log n)$ time we reduce the problem $\min_{x\in\R^d} orm{Ax-b}_p$ to the same problem with input matrix $ ilde A$ of dimension $S imes d$ and corresponding $ ilde b$ of dimension $S imes 1$; $ ilde A$ and $ ilde b$ are a \emph{coreset} for the problem, consisting of sampled and rescaled rows of $A$ and $b$. Here $S$ is independent of $n$, and polynomial in $d$. Our results improve on the best previous algorithms when $n\gg d$, for all $p\in [1,\infty)$ except $p=2$, in particular the $O(nd^{1.376+})$ running time of Sohler and Woodruff (STOC, 2011) for $p=1$, that uses asymptotically fast matrix multiplication, and the $O(nd^5\log n)$ time of Dasgupta \emph{et al.} (SODA, 2008) for general $p$. We also give a detailed empirical evaluation of implementations of our algorithms for $p=1$, comparing them with several related algorithms. Among other things, our results clearly show that the practice follows the theory closely, in the asymptotic regime. In addition, we show near-optimal results for $\ell_1$ regression problems that are too large for any prior solution methods. Our algorithms use our faster constructions of well-conditioned bases for $\ell_p$ spaces, and for $p=1$, a fast subspace embedding: a matrix $\Pi: \R^n\mapsto \R^{O(d\log d)}$, found obliviously to $A$, that approximately preserves the $\ell_1$ norms of all vectors in $\{Ax\mid x\in\R^d\}$; that is, $ orm{Ax}_1 \approx orm{\Pi Ax}_1$, for all $x$, with distortion $ ilde O(d^2)$. Moreover, $\Pi A$ can be computed in $O(nd\log d)$ time. Our techniques include fast Johnson-Lindenstrauss transforms, low coherence matrices, and rescaling by Cauchy random variables.

연구 동기 및 목표

• 대규모 n과 중간 크기의 d에 대해 효율적으로 스케일링되는 실용적인 ℓ₁ 회귀 알고리즘을 개발하는 것.
• 낮은 왜곡을 갖는 빠른 부분공간 임베딩을 지원하는 잘 조절된 ℓ₁ 공간 기저를 구성하는 것.
• 일般적인 p에 대해 ℓ₁ 회귀의 계산 비용을 O(nd⁵ log n)에서 O(nd log n)으로 줄이면서 near-optimal 정확도를 유지하는 것.
• ℓ₁ 문제를 위한 차원 감소에 코시 랜덤 변수를 사용하는 데 이론적이고 실증적인 기반을 제공하는 것.
• 이론적 성능 향상이 실제 대규모 데이터 세트에서 실질적인 속도 향상으로 이어지는지 보여주는 것.

제안 방법

• ℓ₁ 노름을 모두 유지하는 부분공간 임베딩 행렬 Π ∈ ℝ^{O(d log d)×n}을 구성하기 위해 빠른 코시 변환을 활용한다. 이는 A의 열공간에 속한 모든 벡터 Ax의 ℓ₁ 노름을 근사적으로 유지한다.
• i.i.d. 코시 랜덤 변수를 이용한 재스케일링을 통해 ℓ₁ 공간에서 안정적이고 잘 조절된 기저를 구성한다.
• 빠른 존슨-린든스트라우스 변환을 사용하여 차원을 감소시키면서 ℓ₁ 구조를 왜곡 Õ(d²)로 유지한다.
• A와 b의 행을 샘플링하고 재스케일링하여 크기 S = O(d log d)인 코어세트를 구성함으로써, 축소된 문제와 원래 ℓ₁ 회귀 문제 간의 근사가 보장되도록 한다.
• ΠA를 O(nd log d) 시간에 계산하여, 후속 회귀 또는 부분공간 근사에 대한 효율적인 사전처리를 가능하게 한다.
• 낮은 일관성 행렬 구성과 무작위 차원 감소를 조합하여 수치적 안정성과 빠른 계산을 보장한다.

실험 결과

연구 질문

• RQ1 distortion Õ(d²)와 계산 시간 O(nd log d)를 갖는 ℓ₁ 노름에 대한 빠른 부분공간 임베딩을 구성할 수 있는가?
• RQ2 빠른 코시 변환을 통해 O(nd log n) 시간에 ℓ₁ 회귀 문제를 크기 O(d log d)인 코어세트로 축소시킬 수 있는가?
• RQ3 제안된 알고리즘의 성능은 실질적으로 기존 방법과 비교해 어떻게 되는가? 특히 대규모 데이터 세트에서의 성능이다.
• RQ4 이론적 성능 향상이 실제 세계 데이터에서 실질적인 속도 향상으로 이어지는 정도는 어느 정도인가?
• RQ5 기존 솔버가 처리할 수 없는 너무 큰 ℓ₁ 회귀 문제에 이 방법이 스케일링될 수 있는가?

주요 결과

• 빠른 코시 변환은 O(nd log n) 시간에 크기 S = O(d log d)인 코어세트를 구성하여 ℓ₁ 회귀 문제를 더 작은 등가 문제로 축소시킨다.
• 알고리즘은 A의 열공간에 속한 모든 벡터의 ℓ₁ 노름을 Õ(d²)의 왜곡으로 유지하여 정확한 근사를 가능하게 한다.
• ΠA를 계산하는 데 O(nd log d) 시간이 소요되어 일반적인 p에 대해 이전 방법의 O(nd⁵ log n) 시간에 비해 크게 향상된다.
• p=1일 경우, Sohler와 Woodruff(2011)의 O(nd^{1.376+}) 시간 방법보다 뛰어나며, 특히 n ≫ d일 경우에 유리하다.
• 실증 평가 결과 이론적 성능 향상이 실질적으로 반영되었으며, 대규모 데이터 세트에서 강력한 확장성을 보였다.
• 기존 알고리즘으로는 해결할 수 없는 너무 큰 ℓ₁ 회귀 문제에 대해 near-optimal ℓ₁ 회귀를 가능하게 하여 실용적 타당성을 대규모 스케일에서 입증했다.