[论文解读] Insertion Sort is O(n log n)

Michael A. Bender, Martı́n Farach-Colton+1 more|ArXiv.org|Jul 1, 2004

Algorithms and Data Compression参考文献 4被引用 5

一句话总结

本文介紹了Gapped Insertion Sort（亦稱Library Sort），一種插入排序的變體，透過在元素之間維持均勻分佈的間隔來減少插入時間。透過使用隨機輸入排列與擴散係數，該演算法在高概率下達到O(n log n)的期望時間複雜度，顯著優於傳統插入排序的O(n²)。

ABSTRACT

Traditional Insertion Sort runs in O(n^2) time because each insertion takes O(n) time. When people run Insertion Sort in the physical world, they leave gaps between items to accelerate insertions. Gaps help in computers as well. This paper shows that Gapped Insertion Sort has insertion times of O(log n) with high probability, yielding a total running time of O(n log n) with high probability.

研究动机与目标

• 為解決傳統插入排序因插入時元素位移成本過高而導致O(n²)時間複雜度的低效問題。
• 探討在已排序陣列中維持元素間隔是否能在實際與理論上降低插入成本。
• 分析在隨機輸入排列下，基於間隔的插入演算法的期望與高概率性能。
• 形式化並證明，當間隔被策略性地維持時，插入時間在高概率下可達O(log n)。
• 提供一種簡化且嚴謹的基於間隔排序的分析，並以高概率邊界取代先前僅基於期望值的分析。

提出的方法

• 演算法使用大小為(1+ε)n的較大陣列S來儲存n個元素，並均勻分佈間隔，以加速插入。
• 插入操作以回合進行：每回合插入的元素數量加倍，並使用2+2ε的擴散係數重新平衡。
• 在每回合中，於支援元素（先前已插入的元素）上使用二分搜尋，以O(log m)時間定位插入點。
• 插入僅需將元素移動至最近的間隔為止，因此被移動的元素數量在高概率下限制在O(log n)。
• 分析利用二項係數與Stirling近似來建立機率邊界，以證明長序列的插入元素出現機率極低。
• 針對大小為(2+ε)c log m的非重疊區段應用聯合界（union bound），以確保任何此類區段內皆存在間隔，且機率極高。

实验结果

研究问题

• RQ1 在已排序陣列中維持均勻分佈的間隔，是否能降低插入排序的期望插入成本？
• RQ2 當使用擴散係數維持間隔時，插入過程中必須移動的元素數量的期望值為何？
• RQ3 在何種條件下，插入成本可從O(n)降低至O(log n)，且機率極高？
• RQ4 間隔大小（由ε控制）的選擇如何影響空間開銷與插入時間之間的權衡？
• RQ5 能否對基於間隔的插入排序實現高概率的插入成本分析，而不僅僅是期望值邊界？

主要发现

• 前O(√n)個元素的插入成本在最壞情況下為O(n)，與標準插入排序一致。
• 所有重新平衡操作的總成本為O(n)，這是基於加倍回合的攤分分析。
• 每次插入的搜尋成本為O(log m)，其中m為目前已插入的元素數量，這是因為在支援元素上使用二分搜尋。
• 當m = Ω(√n)時，每次插入移動的元素數量在高概率下為O(log m)，這是因為在任何大小為(2+ε)c log m的區段內皆存在間隔。
• 大小為(2+ε)c log m的區段內包含超過(1+ε)c log m個插入元素的機率為多項式級小，確保間隔存在的機率極高。
• Library Sort的整體執行時間在高概率下為O(n log n)，這是透過結合O(n)的重新平衡成本、O(n log n)的搜尋成本，以及O(n log n)的插入成本（高概率）所達成。