[论文解读] Learning Optimal Search Strategies

Stefan Ankirchner, Maximilian Philipp Thiel|arXiv (Cornell University)|Mar 2, 2026

Smart Parking Systems Research被引用 0

一句话总结

论文提出 Indifference Level Updating (ILU) 算法，用于在未知非齐次泊松到达的连续时间停车问题中学习基于阈值的停止规则，实现对数级 regret 以及匹配的 minimax 下界。

ABSTRACT

We explore the question of how to learn an optimal search strategy within the example of a parking problem where parking opportunities arrive according to an unknown inhomogeneous Poisson process. The optimal policy is a threshold-type stopping rule characterized by an indifference position. We propose an algorithm that learns this threshold by estimating the integrated jump intensity rather than the intensity function itself. We show that our algorithm achieves a logarithmic regret growth, uniformly over a broad class of environments. Moreover, we prove a logarithmic minimax regret lower bound, establishing the growth optimality of the proposed approach.

研究动机与目标

• 研究在机会到达遵循未知非齐次泊松过程时，学习最优搜索/停止规则的动机。
• 将最优策略表征为具有无差异位置的阈值型停止规则。
• 开发并分析一个通过估计积分跳跃强度而非完整强度函数来学习最优阈值的算法。
• 建立 regret 边界，显示对数增长，并证明 minimax 下界，展示 ILU 的最优增长率。
• 强调该方法在带随机机会到达的定时与搜索问题中的更广泛适用性。

提出的方法

• 在连续时间中将停车问题建模为自由车位按非齐次泊松过程到达，强度为 lambda。
• 证明最优停止规则是一个阈值 b*，在 b* 之后首次获取空位是最优的（无差异条件）。
• 引入 ILU 算法，通过在轮次之间观测跳跃来估计积分跳跃强度，从而更新无差异阈值。
• 使用积分强度的均方误差为 O(1/n) 的估计量来界定阈值选择的 regret。
• 证明 ILU 算法在广泛环境类上获得对数级 regret 上界，并且没有算法能够超越该速率（minimax 下界）。
• 演示学习积分强度比学习完整强度函数（如通过核方法）具有更快的收敛和更低的 regret。

实验结果

研究问题

• RQ1 代理如何学习未知非齐次泊松过程到达的停车机会的最优阈值停止规则？
• RQ2 在这个连续时间停车问题中，阈值的最优性表征是什么？
• RQ3 是否可以设计一个学习算法，其 regret 在轮次数增加时对数增长，且对广义强度函数类一致？
• RQ4 是否可以建立一个 minimax 下界，表明对数 regret 是最佳可能的速率？
• RQ5 相比于估计完整强度函数，估计积分跳跃强度是否足以实现接近最优的学习？

主要发现

• 停车问题的最优策略是由一个无差异位置 b* 表征的阈值型停止规则。
• ILU 算法通过估计积分跳跃强度来学习阈值，导致 regret 仅随轮次对数增长。
• 存在对数级 minimax regret 下界，证明 ILU 在广泛环境类中的增长最优性。
• 积分强度的估计量以均方误差速率 1/n 收敛，为通过无差异阈值框架实现对数 regret 提供支持。
• 与估计完整强度函数（如通过核方法）相比，估计积分强度会带来更慢的收敛和更高的 regret。
• 结果不仅适用于停车问题，还扩展到具有随机机会到达的更广泛的定时与搜索问题。