[논문 리뷰] Asymptotically exact streaming algorithms

Marc Heinrich, Alexander Munteanu외 1명|arXiv (Cornell University)|2014. 08. 08.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 스트림 길이가 증가함에 따라 근사 오차가 1에 수렴하는 단일 패assing 알고리즘으로, 메모리 사용량이 다항로그형일 때 점점 정확도가 향상되는 점근적 정확한 스트리밍 알고리즘을 소개한다. 저자들은 입력에 대한 약한 조건 하에서 빈도 모멘트, 군집화, 회귀 문제에 대해 긍정적인 결과를 확립하면서, 이러한 향상이 데이터의 구조적 제약 조건이 없이 가능하지 않음을 보여주는 날카로운 공간 하한선을 증명한다.

ABSTRACT

We introduce a new computational model for data streams: asymptotically exact streaming algorithms. These algorithms have an approximation ratio that tends to one as the length of the stream goes to infinity while the memory used by the algorithm is restricted to polylog(n) size. Thus, the output of the algorithm is optimal in the limit. We show positive results in our model for a series of important problems that have been discussed in the streaming literature. These include computing the frequency moments, clustering problems and least squares regression. Our results also include lower bounds for problems, which have streaming algorithms in the ordinary setting but do not allow for sublinear space algorithms in our model.

연구 동기 및 목표

• 스트림 길이가 무한으로 갈수록 근사 오차가 사라지는 새로운 스트리밍 알고리즘 계산 모델을 체계화하는 것.
• 다항로그형 메모리 제약 조건 하에서 근사 오차가 0으로 수렴하는 알고리즘이 존재하는 기본 스트리밍 문제를 규명하는 것.
• 회귀 및 군집화 문제에서 점근적 정확성을 달성하기 위해 필요한 입력 스트림의 구조적 가정을 규명하고, 이 모델에서 본질적으로 제한되는 문제들과의 차이를 명확히 하는 것.
• 회귀 및 군집화 문제에 대해 날카로운 공간 복잡도 하한선을 제시하여, 예를 들어 최소 특이값이 발산하거나 행 단위로 입력이 주어지는 것과 같은 가정이 필수적임을 보여주는 것.
• 표준 모델에서 $(1\pm\varepsilon)$-근사가 가능한 문제들이라도 점근적 정확성을 달성할 수 있는지 여부를 탐색하는 것, 즉 점근적 정확성의 경계를 규명하는 것.

제안 방법

• 점근적 정확한 스트리밍 알고리즘을 $\operatorname{polylog}(n)$ 메모리와 단일 패assing을 갖는 알고리즘으로 정의하며, $\frac{V(s^{(n)})}{V(s^{(n)}_{\text{opt}})} \to 1$ 이 확률적으로 성립하도록 한다. 이는 $n \to \infty$ 일 때 성립한다.
• 기존의 $F_2$ 빈도 모멘트 추정 알고리즘을 추가 가정 없이 적용 가능하게 조정하여 점근적 정확성을 증명한다.
• 회귀 및 군집화 문제에서 점근적 정확성을 달성하기 위해 입력 스트림에 대한 구조적 가정(예: 최소 특이값이 발산, 행 단위 순서)을 도입한다.
• 색인 문제로의 감소를 통해 공간 하한선을 증명하며, 최소 제곱 회귀 문제에서 $\Omega(nd)$ 메모리가 필요함을 보여준다. 이는 특정 조건 하에서 성립한다.
• 메모리 하한선을 유도하기 위해 수정된 행렬 및 벡터 입력($A'$, $b'$)을 구성하여 점차 정확도가 향상되는 상황을 시뮬레이션하고, 통신 복잡도 이론을 활용한다.
• 가정을 약화시킬 경우 점근적 정확성이 실패함을 보여줌으로써 가정의 필수성을 증명한다. 이는 최소 특이값이 발산하더라도 성립한다.

실험 결과

연구 질문

• RQ1 다항로그형 메모리 제약 조건 하에서 어떤 기본 스트리밍 문제가 점근적 정확한 알고리즘을 허용하는가?
• RQ2 회귀 및 군집화 문제에서 점근적 정확성을 달성하기 위해 입력 스트림에 필요한 구조적 가정은 무엇인가?
• RQ3 만약 $k$-means와 $k$-median에 대해 점근적 정확한 알고리즘이 존재한다면, $k$-center 군집화 문제에도 동일한 알고리즘이 설계 가능한가?
• RQ4 표준 스트리밍 모델과 비교해 볼 때, 점근적 정확한 모델에서의 공간 복잡도 하한선은 어떻게 다른가?
• RQ5 이 새로운 모델 하에서 빈도 높은 아이템 카운팅이나 그래프 스트리밍 문제와 같은 문제들에서도 점근적 정확성을 달성할 수 있는가?

주요 결과

• $F_2$ 빈도 모멘트는 추가 가정 없이도 다항로그형 메모리로 점근적으로 정확하게 추정할 수 있다.
• 표준 모델에서 $(1\pm\varepsilon)$-근사가 가능한 $F_0$ 빈도 모멘트는 점근적 정확한 스트리밍 알고리즘을 갖지 못한다.
• 특정 점이 해를 지배하지 않도록 보장하는 약한 가정 하에, 점근적 정확한 $k$-means 및 $k$-median 군집화 알고리즘이 존재한다.
• 최소 제곱 회귀 문제에서는 최소 특이값이 발산하더라도, 입력이 행 단위 순서로 주어지지 않는 한 worst case에 $\Omega(nd)$ 메모리가 필요하다.
• 행 단위 순서로 입력이 주어지는 것이 회귀 문제에서 하위선형 공간 점근적 정확성을 달성하기 위해 필수적임을 통신 복잡도 하한선으로 보여주었다.
• 최소 특이값이 발산하는 것만으로는 하위선형 공간 점근적 정확성을 달성할 수 없으며, 행 단위 순서 가정이 동반되어야 한다.