[論文レビュー] Parallel calculation of the median and order statistics on GPUs with application to robust regression

Gleb Beliakov|arXiv (Cornell University)|Apr 14, 2011

Advanced Statistical Methods and Models参考文献 20被引用数 12

ひとこと要約

本稿では、切捨て平面法を用いて凸コスト関数を最小化することで中央値および順序統計量を計算する、GPUに最適化された新規手法を提案する。この手法は、GPUラジックスォートよりも3–6倍高速である。本手法は並列還元を活用しており、複数のGPUにわたるスケーラビリティに優れている。

ABSTRACT

We present and compare various approaches to a classical selection problem on Graphics Processing Units (GPUs). The selection problem consists in selecting the $k$-th smallest element from an array of size $n$, called $k$-th order statistic. We focus on calculating the median of a sample, the $n/2$-th order statistic. We introduce a new method based on minimization of a convex function, and show its numerical superiority when calculating the order statistics of very large arrays on GPUs. We outline an application of this approach to efficient estimation of model parameters in high breakdown robust regression.

研究の動機と目的

• 大規模データにおけるGPU上での中央値および順序統計量の計算における性能ボトルネックを解消すること。
• SIMTおよびワープベース実行を特徴とするGPUアーキテクチャに特化した効率的な並列選択アルゴリズムの不足を補うこと。
• 巨大データセット向けに、ソートに基づく中央値計算の代替手段として、スケーラブルかつ高パフォーマンスな手法を開発すること。
• ロバスト回帰やk近傍法における中央値の効率的計算を可能にすること。

提案手法

• 中央値に一致する最小値を持つ凸かつ区分線形コスト関数の最小化に基づく新規手法を提案する。
• 凸性を活用して中央値を囲む区間を繰り返し精緻化する切捨て平面法を用い、高速収束を実現する。
• Thrustを用いた並列還元によりコスト関数の評価を実装し、GPU実行を効率化する。
• 切捨て平面法と、候補集合の小規模なソートを組み合わせることで、中央値推定の信頼性を高める。
• GPU実行モデルに適合させるために分岐とメモリ転送を最小限に抑えるアルゴリズム設計を行う。
• CPUとGPU間のデータ移動を最小限に抑えることで、複数GPUデバイス間のスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化に基づくアプローチが、GPU上での中央値計算において、ソートに基づく手法を上回る性能を発揮できるか？
• RQ2 切捨て平面法は、二分探索法やBrent法などの他の最適化手法と比較して、GPU上での収束速度および安定性において優れているか？
• RQ3 本手法は、大規模な中央値計算において、GPUラジックスォートに比べてどの程度の性能向上を達成できるか？
• RQ4 本手法は、複数のGPUデバイスにわたってどの程度スケーラブルに拡張可能か？
• RQ5 本手法は、ロバスト回帰やkNNといった実世界の応用において、どの程度の効率向上をもたらすか？

主な発見

• 切捨て平面法による凸最適化手法は、中央値計算においてGPUラジックスォートよりも3–6倍高速である。
• 切捨て平面法は、極端な値を含む場合でも、二分探索法やBrent法よりも数値的に安定しており、効率的である。
• 無関係な区間の探索を回避することで、収束に必要な反復回数を削減している。
• アルゴリズムは非常にスケーラブルであり、CPUとGPU間のデータ転送も最小限に抑えられており、複数デバイス間でも同様に効果を発揮する。
• Thrustライブラリを活用することで、標準的なGPU還元プリミティブを用いて容易に実装可能である。
• ロバスト回帰（LTS）およびkNNにおいて、部分ソートの代わりに順序統計量計算を用いることで、中央値の効率的計算が可能になる。