[논문 리뷰] Frequent Directions : Simple and Deterministic Matrix Sketching

Mina Ghashami, Edo Liberty외 2명|arXiv (Cornell University)|2015. 01. 08.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 12

한 줄 요약

이 논문은 행 단위로 행렬을 처리하면서 크기 ℓ×d인 스케치 행렬을 유지하는 결정론적 행렬 스케칭 알고리즘인 Frequent Directions를 소개한다. 행당 O(dℓ)의 연산을 사용하며, 최적의 공간-오차 트레이드오프를 달성한다. 스케치의 프로베니우스 노름 오차는 공분산 근사에 대해 ‖A−Aₖ‖_F²/(ℓ−k) 이하로 제한되며, 투영 오차에 대해서는 (1 + k/(ℓ−k))‖A−Aₖ‖_F² 이하로 보장되며, 이는 상수 인자까지 이론적 하한선과 일치한다.

ABSTRACT

We describe a new algorithm called Frequent Directions for deterministic matrix sketching in the row-updates model. The algorithm is presented an arbitrary input matrix $A \in R^{n imes d}$ one row at a time. It performed $O(d imes \ell)$ operations per row and maintains a sketch matrix $B \in R^{\ell imes d}$ such that for any $k < \ell$ $\|A^TA - B^TB \|_2 \leq \|A - A_k\|_F^2 / (\ell-k)$ and $\|A - π_{B_k}(A)\|_F^2 \leq \big(1 + \frac{k}{\ell-k}\big) \|A-A_k\|_F^2 $ . Here, $A_k$ stands for the minimizer of $\|A - A_k\|_F$ over all rank $k$ matrices (similarly $B_k$) and $π_{B_k}(A)$ is the rank $k$ matrix resulting from projecting $A$ on the row span of $B_k$. We show both of these bounds are the best possible for the space allowed. The summary is mergeable, and hence trivially parallelizable. Moreover, Frequent Directions outperforms exemplar implementations of existing streaming algorithms in the space-error tradeoff.

연구 동기 및 목표

• 대규모 행렬의 낮은 랭크 근사를 스트리밍 환경에서 효율적으로 계산하는 문제에 대응하기 위해, 데이터가 순차적으로 도착하고 주 메모리가 제한된 환경에서의 적용을 목표로 한다.
• 기존의 랜덤화된 행렬 스케칭 방법에 대한 결정론적 대안을 개발하여 더 강력한 이론적 보장을 제공하고 최악의 경우 오차 한계를 향상시키고자 한다.
• 병합 가능하고 간단히 병렬화 가능한 스케칭 알고리즘을 설계하여 대규모 행렬에서의 효율적인 분산 계산을 가능하게 하고자 한다.
• 스케치 크기와 근사 오차 사이의 최적의 트레이드오프를 달성하여, 행 업데이트 기반의 모든 스케칭 방법에 대해 이론적 하한선을 충족시키고자 한다.

제안 방법

• 입력 행렬 A ∈ ℝⁿˣᵈ의 각 행을 한 개씩 순차적으로 처리하면서 고정된 크기 ℓ×d인 스케치 행렬 B ∈ ℝ^ℓˣᵈ를 점진적으로 유지한다.
• 각 단계에서 현재 스케치에 대해 부분 특이값 분해(SVD)를 수행하고, 새로운 행을 통합함으로써 최상위 특이값을 유지한다.
• 스케치를 효율적으로 유지하기 위해 랭크-1 업데이트 전략을 사용하며, 현재 행렬의 SVD를 활용하고 가장 중요도가 낮은 성분을 제거하는 탈중력 단계를 적용한다.
• 스케치는 AᵀA와 BᵀB의 차이가 A의 최적의 랭크-k 근사의 잔차 오차에 1/(ℓ−k)를 곱한 값 이하로 제한되는 불변성을 유지한다.
• 스케치는 병합 가능하다: 서로소 데이터 부분집합에서 생성된 스케치는 연결하여 다시 알고리즘을 적용함으로써 결합할 수 있으며, 이는 간단한 병렬화를 가능하게 한다.
• 알고리즘은 Bₖ의 행 공간에 대한 A의 투영 오차가 최적 오차의 (1 + k/(ℓ−k))배 이하로 제한됨을 보장한다. 이는 이 스케치 크기에 대해 가능한 최고의 상대 오차 보장이다.

실험 결과

연구 질문

• RQ1 결정론적 행렬 스케칭 알고리즘이 행 업데이트 기반 스트리밍 모델에서 최적의 공간-오차 트레이드오프를 달성할 수 있는가?
• RQ2 Frequent Directions와 같은 결정론적 방법의 성능은 랜덤 프로젝션, 해싱, 샘플링과 같은 랜덤화된 방법과 비교해 오차와 런타임 측면에서 어떻게 다른가?
• RQ3 Frequent Directions가 생성하는 스케치는 병합 가능할 수 있는가? 이는 효율적인 분산 및 병렬 계산을 가능하게 하는가?
• RQ4 Frequent Directions의 이론적 오차 경계는 날카롭고 실제로 경쟁 알고리즘의 경계를 초월할 수 있는가?

주요 결과

• Frequent Directions는 ‖AᵀA − BᵀB‖₂ ≤ ‖A − Aₖ‖_F² / (ℓ − k)의 최적의 덧셈 오차 경계를 달성하며, 이는 상수 인자까지 이론적 하한선과 일치한다.
• 투영 오차는 (1 + k/(ℓ − k))‖A − Aₖ‖_F² 이하로 제한되며, 이는 크기 ℓ인 모든 스케치에 대해 가능한 최고의 상대 오차 보장이다.
• 실험 결과, Frequent Directions는 랜덤 프로젝션, 해싱, 샘플링 방법과 비교해 공분산 오차와 투영 오차 양 측면에서 일관되게 뛰어난 성능을 보였다. 비록 후자 세 가지 방법이 모두 랜덤화되어 있지만 말이다.
• 해당 알고리즘의 최악의 경우 오차 경계는 실제로 랜덤 방법의 성능을 뛰어넘으며, 이는 Frequent Directions가 뿐만 아니라 이론적으로 좋은 성능을 보장할 뿐 아니라 실제로도 그 이상의 성능을 내는 것으로 나타났다.
• 해싱이나 샘플링보다 계산 비용이 높지만, Frequent Directions는 n과 d에 대해 선형적으로 확장되며, 실행 시간이 O(ndℓ)이므로 대규모 스트리밍 워크로드에 적합하다.
• 알고리즘은 완전히 병렬화 가능하다: 독립적인 데이터 파artitions에서 생성된 스케치는 스케치를 연결한 후 알고리즘을 다시 적용함으로써 병합할 수 있으며, 이는 효율적인 분산 처리를 가능하게 한다.