[论文解读] A Generalization of Self-Improving Algorithms

Siu-Wing Cheng, Man-Kwun Chiu+2 more|arXiv (Cornell University)|Jan 1, 2020

Computational Geometry and Mesh Generation参考文献 23被引用 1

一句话总结

该论文通过群积分布模型将自改进算法推广至处理输入依赖问题，其中每组内的输入均为共享隐含参数的函数。在多项式时间训练阶段后，该方法在输入函数满足温和光滑性假设的前提下，以高概率实现排序的最优期望时间 O(n + HS) 和三角剖分的近乎最优期望时间 O(nα(n) + HDT)。

ABSTRACT

Ailon et al. [SICOMP'11] proposed self-improving algorithms for sorting and Delaunay triangulation (DT) when the input instances $x_1,\cdots,x_n$ follow some unknown \emph{product distribution}. That is, $x_i$ comes from a fixed unknown distribution $\mathsf{D}_i$, and the $x_i$'s are drawn independently. After spending $O(n^{1+\varepsilon})$ time in a learning phase, the subsequent expected running time is $O((n+ H)/\varepsilon)$, where $H \in \{H_\mathrm{S},H_\mathrm{DT}\}$, and $H_\mathrm{S}$ and $H_\mathrm{DT}$ are the entropies of the distributions of the sorting and DT output, respectively. In this paper, we allow dependence among the $x_i$'s under the \emph{group product distribution}. There is a hidden partition of $[1,n]$ into groups; the $x_i$'s in the $k$-th group are fixed unknown functions of the same hidden variable $u_k$; and the $u_k$'s are drawn from an unknown product distribution. We describe self-improving algorithms for sorting and DT under this model when the functions that map $u_k$ to $x_i$'s are well-behaved. After an $O(\mathrm{poly}(n))$-time training phase, we achieve $O(n + H_\mathrm{S})$ and $O(nα(n) + H_\mathrm{DT})$ expected running times for sorting and DT, respectively, where $α(\cdot)$ is the inverse Ackermann function.

研究动机与目标

• 将自改进算法从独立输入分布扩展至具有输入间结构化依赖关系的模型。
• 解决在输入数据中学习隐藏分组的问题，其中每组内的元素依赖于一个共同的隐含参数。
• 设计训练阶段的数据结构，通过利用组级别依赖关系加速运行阶段的计算。
• 在新模型下，以高概率实现接近信息论下限的极限时间复杂度。
• 将先前关于乘积分布的工作推广至更具现实性与表达力的输入模型，其中包含函数依赖关系。

提出的方法

• 将输入建模为群积分布：输入被划分为若干组，每组由一个共享的隐含参数 u_k 决定，输入为 u_k 的固定函数。
• 假设从 u_k 映射到输入项的函数具有有界变差（最多 c0 个极值点），且交集有限，以确保结构规律性。
• 利用 O~(n^3) 时间的训练阶段完成排序，O~(n^10) 时间完成三角剖分，以学习分组并预计算辅助结构（如 Voronoi 图与 Delaunay 三角剖分）。
• 利用几何与概率技术，通过测地线三角剖分与碎片拼接，高效合并来自子组的 Voronoi 图与 Delaunay 三角剖分。
• 应用基于熵的分析方法，对期望运行时间进行上界估计，表明其依赖于输出分布的熵（HS 或 HDT）。
• 使用集中不等式与概率分析，确保最终运行时间的高概率保证（≥ 1 − n^−189）。

实验结果

研究问题

• RQ1 自改进算法能否被推广至具有输入项间结构化依赖关系的输入分布？
• RQ2 在群积分布模型下，排序与 Delaunay 三角剖分的极限时间复杂度为何？
• RQ3 如何在训练阶段高效学习输入数据中的隐藏分组？
• RQ4 训练阶段能否保持多项式时间，同时在运行阶段实现近乎最优的期望运行时间？
• RQ5 为确保高效学习与计算，输入依赖关系的函数形式需满足哪些必要假设？

主要发现

• 该论文在群积分布模型下，以高概率实现了排序的最优极限复杂度 O(n + HS)。
• 对于 Delaunay 三角剖分，极限复杂度为 O(nα(n) + HDT)，近乎最优，且与乘积分布下已知的最佳界限一致。
• 训练阶段在排序上耗时 Õ(n³)，在三角剖分上耗时 Õ(n¹⁰)，两者均为 n 的多项式时间，具备实际部署可行性。
• 该方法在无需知晓底层函数 h_{i,k} 的情况下学习隐藏群结构，仅假设其具有有界变差与有限交集。
• 分析表明，运行阶段的期望运行时间由输出分布的熵主导，证实了信息论最优性。
• 所有关键步骤（包括群检测、Voronoi 图构建与三角剖分合并）均实现了 ≥ 1 − n⁻¹⁸⁹ 的高概率保证。