[논문 리뷰] An Online Algorithm for Nonparametric Correlations

Xiao Wei|arXiv (Cornell University)|2017. 12. 05.

Advanced Statistical Methods and Models참고 문헌 8인용 수 7

한 줄 요약

이 논문은 O(1) 시간 및 메모리 복잡도를 갖는 최초의 온라인 알고리즘을 제안하여 스트리밍 데이터에서 스피어만 순서 상관계수와 켄달의 타우 상관계수를 계산한다. 고정 크기의 컷포인트 행렬을 사용해 이원분포를 군집화함으로써 배치 방법 대비 10–1,000배 빠른 속도를 달성하면서도 높은 정확도를 유지하며, 특히 충분한 컷포인트를 사용할 경우 성능이 뛰어나다.

ABSTRACT

Nonparametric correlations such as Spearman's rank correlation and Kendall's tau correlation are widely applied in scientific and engineering fields. This paper investigates the problem of computing nonparametric correlations on the fly for streaming data. Standard batch algorithms are generally too slow to handle real-world big data applications. They also require too much memory because all the data need to be stored in the memory before processing. This paper proposes a novel online algorithm for computing nonparametric correlations. The algorithm has O(1) time complexity and O(1) memory cost and is quite suitable for edge devices, where only limited memory and processing power are available. You can seek a balance between speed and accuracy by changing the number of cutpoints specified in the algorithm. The online algorithm can compute the nonparametric correlations 10 to 1,000 times faster than the corresponding batch algorithm, and it can compute them based either on all past observations or on fixed-size sliding windows.

연구 동기 및 목표

• 스트리밍 데이터 환경에서 비모수적 상관계수를 위한 효율적인 온라인 알고리즘이 부족한 문제를 해결하기 위해.
• 모든 이력 데이터를 저장하고 정렬이 필요한 배치 방법의 높은 계산 및 메모리 비용을 완화하기 위해.
• 처리 능력과 메모리가 제한된 엣지 디바이스에서 실시간으로 강건한 상관계수 계산을 가능하게 하기 위해.
• 조정 가능한 컷포인트 선택을 통해 속도와 정확도 사이의 조절 가능한 트레이드오프를 제공하기 위해.
• 실세계의 동적 환경에서 누적 및 고정 크기 슬라이딩 윈도우 상관계수 계산을 효과적으로 지원하기 위해.

제안 방법

• 알고리즘은 사용자가 정의한 컷포인트를 사용해 스트리밍 데이터 (X, Y)의 이원분포를 작은 행렬 M으로 군집화한다.
• 행렬 M 내부에 순서가 일致하거나 반대되는 쌍 및 동일값의 수를 유지하는 충분한 통계량을 유지하여 상관계수를 점진적으로 계산한다.
• 스피어만 순서 상관계수의 경우, 컷포인트를 통해 입력값을 순위 기반으로 변환하여 순위를 근사한다.
• 켄달의 타우의 경우, 이진화된 행렬 M 내에서 순서가 일致한 (P), 반대된 (Q), 동일값이 있는 쌍 (T, U)의 수를 추적한다.
• 새로운 데이터 포인트당 O(1) 시간에 상관계수 추정치를 갱신하기 위해 행렬 M과 요약 통계량을 점진적으로 조정한다.
• 컷포인트는 적응적으로 선택되며, 관측된 데이터의 퍼센트일지라도 고유값을 유지하는 데 중점을 두어 선택된다.

실험 결과

연구 질문

• RQ1 메모리가 제한되고 업데이트당 시간이 일정한 환경에서 스트리밍 데이터에서 비모수적 상관계수를 실시간으로 효율적으로 계산할 수 있는가?
• RQ2 이진화된 데이터 표현을 사용할 경우 온라인 비모수적 상관계수 추정치가 배치 결과를 얼마나 정확하게 근사할 수 있는가?
• RQ3 컷포인트의 수가 온라인 상관계수 추정에서 속도와 정확도 사이의 트레이드오프에 미치는 영향은 어떠한가?
• RQ4 제안된 알고리즘이 누적 및 고정 크기 슬라이딩 윈도우 상관계수 계산을 효과적으로 처리할 수 있는가?
• RQ5 이상치와 비정규 분포를 가진 실세계 센서 데이터에서 알고리즘의 성능은 어떠한가?

주요 결과

• 온라인 알고리즘은 O(1) 시간 및 메모리 복잡도를 달성하여 자원이 제한된 엣지 디바이스에 배포 가능하다.
• 데이터 크기와 설정에 따라 배치 방법 대비 10배에서 1,000배 빠른 상관계수 계산 속도를 기록한다.
• 30개의 컷포인트를 사용할 경우, 작은 컷포인트 수에도 불구하고 온라인 스피어만 순서 상관계수 추정치는 매우 정확하다.
• 켄달의 타우의 경우, 컷포인트 수가 많아질수록 정확도가 크게 향상되며, 상관계수가 높고 데이터가 대각선에 집중되어 있을 경우 편향이 증가한다.
• 산업 센서 데이터 S1에서 19개의 컷포인트를 사용할 경우, 스피어만 상관계수의 경우 20–50배, 켄달의 타우의 경우 5–20배의 속도 향상을 달성한다.
• 고유값을 유지하도록 컷포인트를 설정했을 경우(예: S1에 대해 120개), 온라인 알고리즘이 배치 결과와 정확히 일치하며, 상당한 속도 향상을 기록한다.