[论文解读] Efficient and Effective Similar Subtrajectory Search with Deep Reinforcement Learning

Zheng Wang, Cheng Long+2 more|arXiv (Cornell University)|Mar 5, 2020

Data Management and Algorithms参考文献 47被引用 4

一句话总结

本文提出了相似子轨迹搜索（SimSub）问题，提出了一套新颖的框架，利用深度强化学习（RL）高效且有效地从轨迹数据库中识别与查询轨迹最相似的子轨迹。基于强化学习的算法 RLS 和 RLS-Skip 在准确性和速度上均优于启发式方法和非学习基线，在 DTW 和 Frechet 度量下，性能最高可比精确方法快 20 倍，同时保持了高有效性。

ABSTRACT

Similar trajectory search is a fundamental problem and has been well studied over the past two decades. However, the similar subtrajectory search (SimSub) problem, aiming to return a portion of a trajectory (i.e., a subtrajectory) which is the most similar to a query trajectory, has been mostly disregarded despite that it could capture trajectory similarity in a finer-grained way and many applications take subtrajectories as basic units for analysis. In this paper, we study the SimSub problem and develop a suite of algorithms including both exact and approximate ones. Among those approximate algorithms, two that are based on deep reinforcement learning stand out and outperform those non-learning based algorithms in terms of effectiveness and efficiency. We conduct experiments on real-world trajectory datasets, which verify the effectiveness and efficiency of the proposed algorithms.

研究动机与目标

• 为填补细粒度轨迹相似性研究的空白，提出相似子轨迹搜索（SimSub）问题，旨在识别数据轨迹中与查询轨迹最相似的部分。
• 开发一套算法——精确、近似和基于分割的方法——以在 SimSub 问题中实现有效性与效率的平衡。
• 探索利用深度强化学习学习数据轨迹的最优分割策略，从而在性能上超越启发式方法。
• 在真实世界数据集上评估所提方法，证明其在有效性与效率方面均优于现有方法。

提出的方法

• 本文将子轨迹分割过程建模为马尔可夫决策过程（MDP），其中数据轨迹中的每个点为一个状态，智能体决定是否在该点进行分割以生成候选子轨迹。
• 提出了两种基于深度强化学习的算法：RLS 和 RLS-Skip；RLS 使用策略网络预测分割决策，而 RLS-Skip 引入了跳跃连接机制以提升训练的稳定性和效率。
• 使用奖励函数训练算法，以鼓励选择与查询轨迹相似度高的子轨迹，相似度度量包括 t2vec、DTW 和 Frechet 距离。
• 设计了一种精确算法，通过增量相似度计算将时间复杂度从 O(nm) 降低至 O(n)，从而支持基线比较。
• 提出了一种可控的近似算法，限制子轨迹大小接近查询轨迹大小，以在效率与有效性之间取得平衡。
• 强化学习模型在轨迹对上进行训练，针对每种相似度度量调整超参数，推理时间复杂度为每条轨迹 O(n)。

实验结果

研究问题

• RQ1 深度强化学习能否有效应用于从轨迹数据库中寻找最相似子轨迹的问题？
• RQ2 基于强化学习的子轨迹搜索在有效性与效率方面相较于启发式方法和非学习方法表现如何？
• RQ3 所提出的基于分割的算法在计算成本与检索准确率之间能达到多大程度的有利权衡？
• RQ4 基于强化学习的算法在不同轨迹相似度度量（如 t2vec、DTW 和 Frechet 距离）之间具有多大程度的泛化能力？

主要发现

• RLS 和 RLS-Skip 算法显著优于非学习基线：在 DTW 和 Frechet 度量下，RLS-Skip 相较于精确算法最高可实现 20 倍的加速，同时保持了高有效性。
• 基于强化学习的方法在相对排名（RR）上优于启发式和采样方法，即使在小样本量（如 10–20）下，RLS-Skip 也优于 Random-S。
• RLS 和 RLS-Skip 模型的训练时间范围为 4.4 至 104.1 小时，具体取决于数据集和相似度度量，其中 RLS-Skip 因架构效率更高而训练更快。
• 在大多数设置下，RLS-Skip 在 UCR 和 Spring 数据集上均同时展现出更高的效率与有效性，尤其在 R ∈ [0.2, 0.3] 范围内，实现了更优的权衡。
• UCR 的性能对 R 参数不敏感，当 R 从 0 到 1 变化时，RR 值始终维持在约 60%，表明其对精度控制的敏感度较低。
• 采用增量相似度计算的精确算法将时间复杂度降低 O(n)，证明了在引入基于学习的方法之前，算法优化本身已具有显著优势。