[논문 리뷰] Computing the Bergsma Dassios sign-covariance

Yair Heller, Ruth Heller|arXiv (Cornell University)|2016. 05. 27.

Random Matrices and Applications인용 수 11

한 줄 요약

이 논문은 O(n²) 시간에 Bergsma-Dassios sign-covariance를 계산하는 최적화된 알고리즘을 제안한다. 기존의 O(n² log n) 및 O(n⁴) 방법보다 향상된 성능을 제공한다. 순위 기반 사전처리와 상수 시간 범위 쿼리를 통해 누적 분포를 효율적으로 계산함으로써, 동일한 정확도를 유지하면서도 이차 시간 복잡도를 달성한다. 이는 동일한 값이 있는 데이터와 없는 데이터 모두에 대해 정확하게 적용된다.

ABSTRACT

Bergsma and Dassios (2014) introduced an independence measure which is zero if and only if two random variables are independent. This measure can be naively calculated in $O(n^4)$. Weihs et al. (2015) showed that it can be calculated in $O(n^2 \log n)$. In this note we will show that using the methods described in Heller et al. (2016), the measure can easily be calculated in only $O(n^2)$.

연구 동기 및 목표

• Bergsma-Dassios sign-covariance의 계산 복잡도를 기존의 O(n⁴) 및 O(n² log n)에서 O(n²)로 감소시키기.
• 동일값이 있는 데이터와 없는 데이터 모두에 대해 빠르고 정확한 독립성 측정값 계산을 가능하게 하기.
• Heller 등(2016)의 방법이 이 통계량에 대해 최적의 시간 복잡도를 달성하도록 적응 가능함을 보여주기.
• 대규모 다변량 통계에서의 독립성 검정에 적합한 실용적이고 확장 가능한 알고리즘 제공하기.

제안 방법

• 원본 데이터를 순위로 변환하여 이산적인 순서쌍에 대한 조합적 세기 문제로 문제를 단순화하기.
• O(n²) 시간 내에 격자 위에서 동적 프로그래밍을 사용해 순위 쌍에 대한 2차원 경험적 누적분포함수 A(r,s)를 구성하기.
• 누적분포 A(r,s)를 사용해 쿼리당 O(1) 시간 내에 M< 및 M> 수를 범위 쿼리를 통해 계산하기.
• 동일값이 있는 데이터의 경우, 행 단위 누적합을 사용해 다수의 관측치가 동일한 순위에 존재하는 경우를 처리하기 위해 누적 구조를 확장하기.
• A(r,s)에서 유도된 보조 수치(M<, M>, top, mid, bot, eqMin, eqMax)를 사용해 쌍 (k,l)당 O(1) 시간 내에 이질적 4중 쌍 수 Nd(k,l) 계산하기.
• 이질성 공식의 복잡한 마지막 항을 처리하기 위해, 동일값 관측치의 제곱 수를 추적하는 보조 누적 구조 A(r,s)를 사용하기.

실험 결과

연구 질문

• RQ1 동일값이 있는 데이터와 없는 데이터 모두에 대해 Bergsma-Dassios sign-covariance를 O(n²) 시간 내에 계산할 수 있는가?
• RQ2 기본적인 O(n⁴) 접근 방식을 초월해 이 독립성 측정값을 계산하기 위해 필요한 최소한의 계산 오버헤드는 무엇인가?
• RQ3 Heller 등(2016)에서 제안한 순위 기반 누적 분포 기법을 전체 Bergsma-Dassios 통계량에 적응시킬 수 있는가?
• RQ4 실제로 이 O(n²) 방법은 기존의 O(n² log n) 접근 방식과 비교해 성능가능성이 있는가?
• RQ5 동일값이 이질적 4중 쌍의 구조에 미치는 영향은 무엇이며, 이를 효율적으로 세는 방법은 무엇인가?

주요 결과

• 순위 기반 사전처리와 누적 분포 격자에서의 상수 시간 범위 쿼리를 사용해 Bergsma-Dassios sign-covariance를 O(n²) 시간 내에 계산할 수 있다.
• 사전에 계산된 A(r,s) 행렬을 기반으로 O(1) 범위 쿼리를 사용해 공조 4중 쌍 수 Nc를 계산함으로써 총 비용을 O(n²)로 감소시킨다.
• 동일값이 있는 데이터의 경우, 기여도를 top, mid, bot 및 등가 항으로 분해하여 각 항을 O(1) 시간 내에 확보함으로써 이질적 4중 쌍 수 Nd를 정확히 계산한다.
• 이질성 공식의 최종 보정 항은 동일값 관측치의 제곱 수를 추적하는 보조 누적 구조를 사용해 쌍당 O(1) 시간 내에 평가할 수 있다.
• 알고리즘은 정확성을 유지하며 동일한 순위와 동일한 값과 같은 모든 경계 케이스를 처리하여 모든 데이터 유형에서 정확성을 보장한다.
• 전체 시간 복잡도는 O(n²)로 최적이며, Weihs 등(2015)이 설정한 이전의 O(n² log n) 기준보다 상당한 향상이다.