[논문 리뷰] Parallel calculation of the median and order statistics on GPUs with application to robust regression

Gleb Beliakov|arXiv (Cornell University)|2011. 04. 14.

Advanced Statistical Methods and Models참고 문헌 20인용 수 12

한 줄 요약

이 논문은 중앙값과 순서 통계량을 계산하기 위한 새로운 GPU 가속 방법을 제안한다. 이 방법은 자르기 평면 알고리즘을 사용하여 볼록 비용 함수를 최소화함으로써 중앙값을 도출하며, GPU 기반 기수 정렬보다 3–6배 빠른 성능을 달성한다. 이 방법은 병렬 감소를 활용하며, 다수의 GPU에 걸쳐 높은 확장성을 보인다.

ABSTRACT

We present and compare various approaches to a classical selection problem on Graphics Processing Units (GPUs). The selection problem consists in selecting the $k$-th smallest element from an array of size $n$, called $k$-th order statistic. We focus on calculating the median of a sample, the $n/2$-th order statistic. We introduce a new method based on minimization of a convex function, and show its numerical superiority when calculating the order statistics of very large arrays on GPUs. We outline an application of this approach to efficient estimation of model parameters in high breakdown robust regression.

연구 동기 및 목표

• 대규모 데이터에서 GPU에서 중앙값과 순서 통계량을 계산할 때 발생하는 성능 저하 문제를 해결한다.
• SIMT 및 워프 기반 실행과 같은 GPU 아키텍처에 특화된 효율적인 병렬 선택 알고리즘이 부족한 문제를 해결한다.
• 거대한 데이터 세트를 위한 정렬 기반 중앙값 계산의 대안으로서 확장 가능하고 고성능인 방법을 개발한다.
• 강건한 다운브레이크 회귀 및 k-가장 가까운 이웃 방법에서 중앙값을 효율적으로 계산할 수 있도록 한다.

제안 방법

• 중앙값에 해당하는 볼록, 조각별 선형 비용 함수를 최소화하는 새로운 방법을 제안한다.
• 중앙값을 둘러싼 간격을 반복적으로 정밀화하는 데 자르기 평면 알고리즘을 사용하며, 볼록성 덕분에 빠른 수렴을 이룬다.
• Thrust를 통해 병렬 감소를 이용해 비용 함수 평가를 구현하여 GPU 실행의 효율성을 높인다.
• 자르기 평면 방법과 최종적으로 작은 크기의 후보 집합에 대해 정렬을 수행함으로써 강건한 중앙값 추정을 확보한다.
• GPU 실행 모델에 부합하도록 분기와 메모리 이동을 최소화하는 알고리즘 설계를 한다.
• CPU와 GPU 간의 데이터 이동을 최소화하여, 다수의 GPU 장치 간의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 볼록 최적화 기반 접근 방식이 GPU에서 중앙값 계산에 기존 정렬 기반 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 자르기 평면 알고리즘이 기존 최적화 기법들(예: 이분법, 브레nt의 방법)과 비교해 GPU 환경에서 수렴 속도와 안정성 면에서 어떻게 성능을 발휘하는가?
• RQ3 대규모 중앙값 계산에서 제안된 방법이 GPU 기반 기수 정렬보다 얼마나 빠른가?
• RQ4 제안된 방법이 다수의 GPU 장치에 걸쳐 얼마나 잘 확장될 수 있는가?
• RQ5 이 방법이 강건한 회귀 및 kNN과 같은 실제 응용 분야에서 효율성을 얼마나 향상시키는가?

주요 결과

• 자르기 평면 최소화를 통한 제안된 볼록 최적화 방법은 GPU 기반 기수 정렬 대비 중앙값 계산에서 3–6배의 성능 향상을 달성한다.
• 자르기 평면 알고리즘이 이분법 및 브레nt의 방법보다 수치적으로 더 안정적이고 효율적이며, 극단치가 존재할 경우 특히 유리하다.
• 정보가 없는 간격 탐색을 피함으로써 수렴에 필요한 반복 횟수를 줄인다.
• 알고리즘은 매우 확장 가능하며, 다수의 장치 간에도 CPU와 GPU 간의 데이터 이동을 최소화한 채로 작동한다.
• 표준 GPU 감소 기반 원소를 활용한 Thrust 라이브러리를 통해 쉽게 구현할 수 있다.
• 이 방법은 부분 정렬을 순서 통계량 계산으로 대체함으로써 강건한 다운브레이크 회귀(LTS) 및 kNN에서 중앙값 계산을 효율적으로 수행할 수 있도록 한다.