[论文解读] Lattice: A Confidence-Gated Hybrid System for Uncertainty-Aware Sequential Prediction with Behavioral Archetypes
Lattice 引入一个置信度门控的混合系统,仅在置信度高时激活学习到的行为原型,从而改进序列预测并在分布漂移时安全地拒绝激活。它将 LSTM 与基于原型的评分结合起来,并在跨域与回归网络上进行验证。
We introduce Lattice, a hybrid sequential prediction system that conditionally activates learned behavioral structure using binary confidence gating. The system clusters behavior windows into behavioral archetypes and uses binary confidence gating to activate archetype-based scoring only when confidence exceeds a threshold, falling back to baseline predictions when uncertain. We validate Lattice on recommendation systems (MovieLens), scientific time-series (LIGO), and financial markets, using LSTM and transformer backbones. On MovieLens with LSTM, Lattice achieves +31.9% improvement over LSTM baseline in HR@10 (p < 3.29 x 10^-25, 30 seeds), outperforming transformer baselines by 109.4% over SASRec and 218.6% over BERT4Rec. On LIGO and financial data, the system correctly refuses archetype activation when distribution shift occurs - a successful outcome demonstrating confidence gating prevents false activation. On transformer backbones, Lattice provides 0.0% improvement (neutral, no degradation), gracefully deferring when structure is already present. This bidirectional validation - activating when patterns apply, refusing when they don't, and deferring when redundant - supports confidence gating as a promising architectural principle for managing epistemic uncertainty in safety-critical applications.
研究动机与目标
- 解决在混合模型中何时学习的序列模式是可靠的问题。
- 提出一个置信度门控机制以选择性地激活原型先验。
- 展示跨域和回路网络中的激活与拒绝的双向验证。
- 在 LSTM 上展示骨干网络无关的行为,在 Transformer 上保持中性/不损害。
- 通过对鲁棒的不确定性处理评估对安全关键应用的适用性。
提出的方法
- 以 LSTM 作为骨干网络来建模序列数据,并为每个序列提取一个行为嵌入。
- 通过对最终 LSTM 嵌入进行 K_means 聚类,将行为窗口聚成 K 个行为原型。
- 利用每个原型的转移矩阵(离散)或模式均值(连续)来计算基于原型的得分。
- 通过将嵌入与原型质心进行最小距离比较,并将其转换为基于百分位数的置信度来量化置信度。
- 当置信度超过 theta 时应用二元门控阈值以使原型评分启用;否则,依赖 LSTM 的预测。
- 在被门控时以固定混合权重组合 LSTM 与原型得分;采用多阶段自适应策略来处理超冷到正常序列长度的情况。
实验结果
研究问题
- RQ1置信度门控的原型是否能在序列预测上优于单独的 LSTM 基线?
- RQ2当模式可适用时,原型是否有助于系统;在分布漂移时系统是否应拒绝激活?
- RQ3该方法是否骨干无关,对 LSTM 有益但不损害 Transformer 模型?
- RQ4该方法是否能跨域推广,如在推荐、科学时间序列与金融领域?
- RQ5应如何选择门控阈值和原型数量以实现稳健性能?
主要发现
| 模型 | HR@5 | HR@10 | HR@20 | NDCG@5 | NDCG@10 | NDCG@20 | MRR |
|---|---|---|---|---|---|---|---|
| LSTM-only | 0.0401 | 0.0613 | 0.1088 | 0.0244 | 0.0306 | 0.0432 | 0.0254 |
| LSTM+Lattice | 0.0530 | 0.0806 | 0.1405 | 0.0329 | 0.0413 | 0.0572 | 0.0344 |
- 在 MovieLens 的 LSTM 场景中,Lattice 的 HR@10 为 0.0806,而 LSTM 为 0.0613,提升了 31.9%(p < 3.29e-25)。
- 在相同的 MovieLens 测试集上,Lattice 在 HR@10 上分别比 SASRec 与 BERT4Rec 高出 109.4% 与 218.6%。
- 当置信度较高时,原型在大多数序列上激活(大约 71%),当置信度较低时正确抑制原型激活(约 29%)。
- 在 LIGO 与金融数据中,该系统在分布漂移下正确拒绝原型激活,保持基线 LSTM 的性能(无降级)。
- 在 Transformer 骨干上,Lattice 的提升为 0.0%(中性),表现出在已编码更高阶转移时的优雅延迟。
- 跨领域评估的 Amazon Reviews 显示显著提升(HR@10 提升 +123.7%,显著性高),指示跨域泛化。
更好的研究,从现在开始
从论文设计到论文写作,大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成,并经人工编辑审核。