[論文レビュー] Streaming Maximum-Minimum Filter Using No More than Three Comparisons per Element

Daniel Lemire|arXiv (Cornell University)|Oct 9, 2006

Time Series Analysis and Forecasting参考文献 20被引用数 62

ひとこと要約

本稿では、最悪ケースにおいて1要素あたり3回以下の比較で実行可能なストリーミングアルゴリズムを提示している。これは、従来の方法と比較して遅延とメモリ使用量を著しく削減する。単調性の性質を活用することで、単調なデータでは1要素あたり2回の比較で処理でき、特に正弦波のような区分的単調信号では、実用的に最大2倍の高速化を達成する。

ABSTRACT

The running maximum-minimum (max-min) filter computes the maxima and minima over running windows of size w. This filter has numerous applications in signal processing and time series analysis. We present an easy-to-implement online algorithm requiring no more than 3 comparisons per element, in the worst case. Comparatively, no algorithm is known to compute the running maximum (or minimum) filter in 1.5 comparisons per element, in the worst case. Our algorithm has reduced latency and memory usage.

研究の動機と目的

• ストリーミング処理において、1要素あたりの比較回数を最小限に抑えつつ、ストリーム遅延を回避する実行可能な最大最小フィルタのアルゴリズムを設計すること。
• van Herk-Gil-Werman や Gil-Kimmel のようなバッチ処理または高遅延アルゴリズムと比較して、メモリ使用量を削減すること。
• データの単調性を活用して、好都合な状況下で3回未満の比較性能を達成すること。
• Gil-Kimmel や Droogenbroeck-Buckley のような先行競合アルゴリズムよりも、より単純かつ効率的な実装を提供すること。

提案手法

• 現在のウィンドウ内での最大値および最小値の候補となるインデックスを追跡するために、2つのデュアルエンドドキュ（デック）を維持する。
• 要素がウィンドウ外に出る、または新しい要素に支配される場合にのみ削除される、単調なウェッジ構造を用いる。
• 1要素あたり最大3回の比較を実行する：最大値を更新するための1回、最小値のための1回、および支配関係を確認するための第3回。
• 新しい要素がk個の以前の要素よりも厳密に大きい場合、その要素は最小値になり得ないため、重複する比較を回避できるという事実を活用する。
• 2段階の更新処理を採用：まず新しいインデックスを両方のデックに追加し、その後、先頭から古いインデックスを削除し、末尾から支配されたインデックスを削除する。
• 内部ループで不要なpopおよびappend操作を回避することで、現代のプロセッサ上で性能を向上させる最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 ストリーム遅延なしで、最悪ケースにおいて1要素あたり3回以下の比較で実行可能な最大最小フィルタが設計可能か？
• RQ2 一般用途のアルゴリズムと比較して、単調または区分的単調データでは、より少ない比較回数を達成可能か？
• RQ3 Gil-Kimmel や van Herk-Gil-Werman のような最先端の複雑な手法を凌駆する、より単純かつ効率的なアルゴリズムを設計可能か？
• RQ4 低遅延最大最小フィルタの1要素あたりの比較回数の理論的下界は何か？
• RQ5 実世界のデータ（例：正弦波やi.i.d.ノイズ）に対して、このアルゴリズムは実際の性能をどのように示すか？

主な発見

• 提案アルゴリズムは最悪ケースにおいて1要素あたり3回未満の比較で実行可能であり、以前の最良手法の$3 + 2\frac{\text{log } w}{w} + O(1/w)$回の比較を上回る。
• 単調な入力（非増加または非減少）の場合、1要素あたり2回の比較で処理可能であり、これはタイトな境界であることを示している。
• 正弦波のような区分的単調データでは、van Herk-Gil-Werman や Gil-Kimmel アルゴリズムと比較して、約2倍の高速化が達成され、100万要素を約0.075秒で処理可能である。
• ストリーム遅延がゼロで、メモリ使用量が$2w + O(1)$に抑えられ、Gil-Kimmel アルゴリズムの$6w + O(1)$バッファ使用量を上回る。
• 実験結果では、i.i.d.ノイズではvan Herk-Gil-Wermanと同等の性能（100万点で約0.15秒）を示したが、構造的で単調なデータでは顕著な性能優位性を示した。
• このアルゴリズムは、任意の低遅延最大最小フィルタに対して1要素あたり少なくとも2回の比較が必要であるという事実に基づき、理論的に最適であると証明可能であり、$w=3$の小規模ウィンドウではこの境界がタイトである。