[논문 리뷰] Fully Parallel Particle Learning for GPGPUs and Other Parallel Devices

Kenichiro McAlinn, Teruo Nakatsuma|arXiv (Cornell University)|2012. 12. 07.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 25인용 수 3

한 줄 요약

이 논문은 GPU에서 모든 입자 필터링 단계—우도 계산, CDF 구성, 재표본화 및 전파—를 완전히 병렬로 수행하는 완전히 병렬 재표본화 알고리즘을 제안한다. 이는 CPU-GPU 데이터 전송을 제거함으로써 성능을 극대화한다. 이 방법은 CDF 단계에서 최대 248배의 성능 향상을 기록했고, 전파 단계에서는 45.3배의 향상을 기록하여 순차적 CPU 구현 대비 뛰어난 성능을 입증한다. 또한 컷포인트 방법을 통해 정확한 재표본화를 유지한다.

ABSTRACT

We develop a novel parallel resampling algorithm for fully parallelized particle filters, which is designed with GPUs (graphics processing units) or similar parallel computing devices in mind. With our new algorithm, a full cycle of particle filtering (computing the value of the likelihood for each particle, constructing the cumulative distribution function (CDF) for resampling, resampling the particles with the CDF, and propagating new particles for the next cycle) can be executed in a massively and completely parallel manner. One of the advantages of our algorithm is that every single numerical computation or memory access related to the particle filtering is executed solely inside the GPU in parallel, and no data transfer between the GPU's device memory and the CPU's host memory occurs unless for further processing, so that it can circumvent the limited memory bandwidth between the GPU and the CPU. To demonstrate the advantage of our parallel algorithm, we conducted a Monte Carlo experiment in which we apply the parallel algorithm as well as conventional sequential algorithms for estimation of a simple state space model via particle learning, and compare them in terms of execution time. The results show that the parallel algorithm is far superior to the sequential algorithm.

연구 동기 및 목표

• 고차원적, 비선형적, 비정규 분포 상태공간 모델에서 입자 필터링의 계산 병목 현상을 해결하기 위해.
• 입자 필터링 루프 동안 CPU-GPU 데이터 전송을 제거하여 대역폭 제약을 최소화하기 위해.
• 정확하고 병렬 아키텍처 간 이식 가능성을 확보하는 완전히 병렬 재표본화 알고리즘을 개발하기 위해.
• GPU 가속을 통해 순차적 CPU 기반 입자 필터링 대비 뚜렷한 성능 향상을 입증하기 위해.

제안 방법

• 알고리즘은 모든 입자 필터링 단계—우도 평가, CDF 구성, 재표본화 및 전파—를 GPU 장치 메모리 내에서 수행하여 호스트 CPU 메모리 전송을 방지한다.
• 병렬 환경에서 누적분포함수(CDF)로부터 정확한 표본 추출을 가능하게 하는 컷포인트 방법을 사용한다.
• 장치 고유의 GPU 기능을 회피하여 다중 GPU 또는 격자 컴퓨팅 시스템으로의 이식 가능성을 확보한다.
• 선택 인덱스를 효율적으로 구성하기 위해 병렬 프리픽스 합과 배타적 스캔 연산을 활용하여 재표본화를 구현한다.
• 대규모 병렬 아키텍처인 GPGPU와 같은 단일명령다중데이터(SIMD) 실행 환경을 고려하여 설계되었다.
• 단순한 상태공간 모델에서 GPU 병렬 구현과 CPU 순차 구현 간 실행 시간을 비교하기 위해 몬테카를로 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 CPU-GPU 데이터 전송을 제거하면서도 정확한 재표본화를 유지하는 완전히 병렬 입자 필터링 알고리즘을 설계할 수 있는가?
• RQ2 완전히 병렬 GPU 기반 입자 필터의 성능은 기존 순차적 CPU 기반 구현 대비 어떻게 비교되는가?
• RQ3 GPU 환경에서 전체 실행 시간에 영향을 주는 각 계산 단계(CDF, 전파, 재표본화)의 기여도는 어떠한가?
• RQ4 제안된 알고리즘은 장치 고유의 GPU 기능에 의존하지 않고도 구현될 수 있는가?

주요 결과

• 제안된 GPU 기반 알고리즘이 순차적 CPU 구현 대비 CDF 구성 단계에서 최대 248배의 성능 향상을 기록했다.
• 전파 단계에서는 45.3배의 성능 향상을 기록하여 GPU 아키텍처에서 뛰어난 병렬 효율성을 입증했다.
• 재표본화 단계는 11.9배의 성능 향상을 기록했으며, 정렬 오버헤드를 제외한 경우에도 2.7배의 성능 향상을 기록하여 CPU 기반 스트래티피드 재표본화를 능가했다.
• GPU에서 CPU로의 데이터 전송을 담당하는 스토어 단계는 총 실행 시간의 15–20%를 차지하여 메모리 전송이 병목임을 시사했다.
• 알고리즘의 성능 이점은 입자 수가 많고 시간 간격이 긴 경우에 가장 두드러지며, 초기화 시간이 무시할 수 있을 정도로 작을 때 두드러진다.
• 이 방법은 완전히 이식 가능하며, 아키텍처 종속성이 없이 다중 GPU 또는 격자 컴퓨팅 시스템으로 확장 가능하다.