[논문 리뷰] Fast and Accurate Least-Mean-Squares Solvers

Alaa Maalouf, Ibrahim Jubran외 1명|arXiv (Cornell University)|2019. 06. 11.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 10

한 줄 요약

이 논문은 스케치와 코어셋의 융합을 통해 원래의 $ n $개의 입력 벡터에서 $ d+1 $개의 가중치가 부여된 부분집합을 계산하는 새로운, 빠르고 수치적으로 안정적인 알고리즘을 제안한다. 이 부분집합은 합을 정확히 유지하며, $ O(nd) $의 시간 복잡도를 달성하여 카라테오도리 정리의 원래 $ O(n^2d^2) $ 시간 복잡도보다 크게 빠르게 한다. 이는 scikit-learn과 같은 LMS 솔버에서 최대 100배의 속도 향상을 이끌어내며 높은 정확도를 유지한다.

ABSTRACT

Least-mean squares (LMS) solvers such as Linear / Ridge / Lasso-Regression, SVD and Elastic-Net not only solve fundamental machine learning problems, but are also the building blocks in a variety of other methods, such as decision trees and matrix factorizations. We suggest an algorithm that gets a finite set of $n$ $d$-dimensional real vectors and returns a weighted subset of $d+1$ vectors whose sum is \emph{exactly} the same. The proof in Caratheodory's Theorem (1907) computes such a subset in $O(n^2d^2)$ time and thus not used in practice. Our algorithm computes this subset in $O(nd+d^4\log{n})$ time, using $O(\log n)$ calls to Caratheodory's construction on small but "smart" subsets. This is based on a novel paradigm of fusion between different data summarization techniques, known as sketches and coresets. For large values of $d$, we suggest a faster construction that takes $O(nd)$ time (linear in the input's size) and returns a weighted subset of $O(d)$ sparsified input points. Here, sparsified point means that some of its entries were replaced by zeroes. As an example application, we show how it can be used to boost the performance of existing LMS solvers, such as those in scikit-learn library, up to x100. Generalization for streaming and distributed (big) data is trivial. Extensive experimental results and complete open source code are also provided.

연구 동기 및 목표

• 선형, 리지, 라소 회귀와 같은 전통적인 최소제곱근(LMS) 솔버의 높은 계산 비용과 수치적 불안정성 문제를 해결하기 위해.
• 카라테오도리 정리의 적용을 $ O(n^2d^2) $에서 $ O(nd) $로 빠르게 개선하여, 동일한 총합을 유지하는 $ d+1 $개의 벡터 부분집합을 계산하는 것을 가속화하기 위해.
• 공분산 행렬 계산 중 오차 누적을 최소화함으로써 GPU 및 32비트 부동소수점 환경에서의 수치적 안정성을 향상시키기 위해.
• 정확도 손실 없이 입력 크기를 줄이는 코어셋을 통해 대규모 및 스트리밍 데이터의 효율적이고 확장 가능하며 분산 처리를 가능하게 하기 위해.

제안 방법

• 카라테오도리 정리에 기반하여 원래 $ n $개의 벡터 합을 정확히 유지하는 $ d+1 $개의 가중치가 부여된 부분집합을 계산하기 위해 스케칭과 코어셋 기법을 융합한다.
• 작고 지능적으로 선택된 부분집합에 대해 $ O(\log n) $회의 카라테오도리 구성 호출을 통해 $ O(nd + d^4 \log n) $의 시간 복잡도를 달성한다.
• 큰 $ n $에 대해선 선형 시간 $ O(nd) $ 버전을 도입하여, 일부 항목이 0으로 설정된 $ O(d) $개의 점으로 이루어진 희소 가중치 부분집합을 반환한다.
• 계산된 코어셋 $ S $를 LMS 솔버에서 원래 데이터 행렬 $ A $의 대체로 사용하여 공분산 행렬 $ A^T A $를 유지한다.
• 전체 $ A $ 대신 감소된 코어셋 $ S $에 대해 SVD를 적용함으로써 계산 시간과 수치적 오차를 크게 줄인다.
• 정확도와 효율성의 균형을 위해 파rameter $ k_1 = 2d' + 2 $, $ k_2 = \lceil (d+1)^2 / d' \rceil $, $ \rho = 0.5 $를 사용하는 이중 단계 스케칭 접근법을 적용한다.

실험 결과

연구 질문

• RQ1 카라테오도리 정리의 $ O(n^2d^2) $ 시간 복잡도를 근사선형 $ O(nd) $로 감소시켜 실용적으로 적용할 수 있는가?
• RQ2 스케칭과 코어셋의 융합이 기존 LMS 솔버에 비해 수치적으로 안정적이고, 신속하고 정확한 대안을 제공할 수 있는가?
• RQ3 코어셋 기반 접근법은 scikit-learn과 같은 기존 LMS 솔버의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 다양한 데이터 크기, 차원 수, 부동소수점 정밀도에서 시간과 정확도 측면에서 이 방법의 확장성은 어떻게 되는가?
• RQ5 최소한의 오버헤드로 스트리밍, 분산, GPU 가속 환경에 이 프레임워크를 확장할 수 있는가?

주요 결과

• 제안된 알고리즘은 원래 정리의 $ O(n^2d^2) $ 시간 복잡도보다 훨씬 빠른 $ O(nd + d^4 \log n) $ 시간 내에 카라테오도리 부분집합을 계산한다.
• 큰 $ n $에 대해선 알고리즘이 입력 크기에 비례하는 선형 시간 $ O(nd) $ 복잡도를 달성하여 고차원 데이터의 거의 실시간 처리를 가능하게 한다.
• 이 방법은 scikit-learn과 같은 기존 LMS 솔버의 런타임을 최대 100배 향상시키며 정확도를 유지하거나 향상시킨다.
• 실험 결과, 특히 오차 누적이 높은 32비트 부동소수점 환경에서 SKETCH + SVD에 비해 코어셋 기반 접근법이 수치적 오차를 줄이는 것으로 나타났다.
• 프레임워크는 스트리밍 및 분산 데이터에 대해 쉽게 일반화되며 핵심 알고리즘에 대한 변경이 최소한이다.
• 합성 및 실세계 데이터셋에 대한 광범위한 실험을 통해, 다양한 차원, 데이터 크기, 분포에서 메서드의 강건성이 확인되었으며, 오차 히스토GRAM은 0 주변으로 매우 집중되어 있음을 보여준다.