[論文レビュー] Fast computation of the median by successive binning

Ryan J. Tibshirani|ArXiv.org|Jun 20, 2008

Data Management and Algorithms参考文献 4被引用数 28

ひとこと要約

本稿では、平均から1標準偏差の範囲内に中央値が存在する統計的性質を利用し、再帰的バインニングに基づく新しいO(n)平均ケースアルゴリズムであるbinmedianを提案する。また、O(n)最悪ケース複雑度を保証する近似中央値推定のためのbinapproxも導入しており、これらは動的データ環境（中央値の再計算が頻繁に行われる状況）において、quickselectを著しく上回る性能を発揮する。

ABSTRACT

This paper describes a new median algorithm and a median approximation algorithm. The former has O(n) average running time and the latter has O(n) worst-case running time. These algorithms are highly competitive with the standard algorithm when computing the median of a single data set, but are significantly faster in updating the median when more data is added.

研究の動機と目的

• 繰り返し更新が必要な状況（例：新規データの追加）においても効率的に中央値を計算できる、より高速で効率的な中央値計算アルゴリズムの開発。
• データが段階的に更新される状況で、過去の計算結果を活用できないquickselectの制限を克服すること。
• 中央値と平均が互いに1標準偏差以内に存在する統計的性質を活用し、バインニングに基づく中央値アルゴリズムを設計すること。
• 正確な中央値を求めるアルゴリズム（binmedian）と、最悪ケース性能が保証された近似バージョン（binapprox）の両方を提供すること。
• フローサイトメトリー、最適化、リアルタイムデータ処理などの応用分野における効率的な中央値更新を可能にすること。

提案手法

• binmedianアルゴリズムは、現在の平均推定値を中心とするB個の区間（バイン）にデータポイントを再帰的にバインングし、中央値を含むバインにのみ注目する。
• 中央値が平均から1標準偏差の範囲内にあるという事実を活用し、探索範囲を制限することで、各ステップで処理する要素数を削減する。
• 各反復で、現在のデータサブセットの実測平均および標準偏差を計算し、中央値を含むバインの端点を基準に新たなバインを生成する。
• すべての残存要素が1つのバイン内に収束した時点でアルゴリズムは終了し、最終バインから中央値が選択される。
• 近似計算のためのbinapproxは、固定されたバイン数を用い、早期に停止することで精度を犠牲にしつつ、O(n)最悪ケース複雑度を達成する。
• 退化ケースでさえも各反復で少なくとも1つのデータポイントを除外することで、O(n)時間で終了するよう、重要な修正が施されている。

実験結果

リサーチクエスチョン

• RQ1 バインニングに基づくアプローチは、quickselectよりインクリメンタルな更新に適しており、中央値計算においてO(n)平均ケース複雑度を達成できるか？
• RQ2 中央値と平均の間の統計的関係（1標準偏差以内）を活用して、より高速な中央値アルゴリズムを設計できるか？
• RQ3 特に中央値の再計算が頻繁に行われる動的データ環境において、binmedianとbinapproxはquickselectに比べてどの程度の性能を発揮するか？
• RQ4 O(n)最悪ケース複雑度と誤差の上限が保証された中央値近似アルゴリズムを設計できるか？
• RQ5 再帰的バインニング戦略により、データの逐次追加や削除が行われる場合に、過去の計算結果を効率的に再利用できるか？

主な発見

• binmedianアルゴリズムは、平均を中心とするバインを再帰的に用いることで、中央値と平均の距離の上限を活用し、O(n)平均ケース時間複雑度を達成する。
• binmedianの期待反復回数はO(log n)であり、集中不等式を用いて各ステップでの残存要素数の期待値を抑え、導出される。
• binapproxアルゴリズムは、誤差が有界なO(n)最悪ケース複雑度の高速近似を提供し、リアルタイム応用に適している。
• 理論的解析により、バイン数Bが増加するごとに、各反復で処理される要素数が指数関数的に減少することが示され、全体として線形実行時間が達成される。
• 実験的比較では、単一の中央値計算においてもbinmedianとbinapproxはquickselectと同等の性能を示し、データ更新を伴う動的環境では著しく高速であることが確認された。
• 本アルゴリズムは、フローサイトメトリー解析プラットフォームであるCytobankに実装されており、実世界の生物学的データ解析における実用的価値を示している。