[论文解读] Learning What Matters Now: Dynamic Preference Inference under Contextual Shifts

Xianwei Cao, Dou Quan+2 more|arXiv (Cornell University)|Mar 24, 2026

Decision-Making and Behavioral Economics被引用 0

一句话总结

DPI 在改变的目标权重上保持一个概率信念，并据此对策略进行条件化，从而实现对多目标RL中情境变化的在线适应。在动态排队和迷宫任务中，它超过固定和启发式基线。

ABSTRACT

Humans often juggle multiple, sometimes conflicting objectives and shift their priorities as circumstances change, rather than following a fixed objective function. In contrast, most computational decision-making and multi-objective RL methods assume static preference weights or a known scalar reward. In this work, we study sequential decision-making problem when these preference weights are unobserved latent variables that drift with context. Specifically, we propose Dynamic Preference Inference (DPI), a cognitively inspired framework in which an agent maintains a probabilistic belief over preference weights, updates this belief from recent interaction, and conditions its policy on inferred preferences. We instantiate DPI as a variational preference inference module trained jointly with a preference-conditioned actor-critic, using vector-valued returns as evidence about latent trade-offs. In queueing, maze, and multi-objective continuous-control environments with event-driven changes in objectives, DPI adapts its inferred preferences to new regimes and achieves higher post-shift performance than fixed-weight and heuristic envelope baselines.

研究动机与目标

• 通过说明人类在变化情境下如何适应偏好，并将其转化为动态价值加权的计算框架。
• 将动态、未观测的偏好权重形式化为随情境漂移的潜在状态。
• 开发变分推断模块以从历史中估计当前偏好，并构建以偏好为条件的策略来执行。
• 在非平稳环境（如排队和迷宫任务）中展示更好的适应性和可解释性。

提出的方法

• 引入一个两模块代理：价值评估模块从最近历史中推断潜在偏好的分布。
• 将偏好表示为潜在变量 z_t，omega_t = softmax(z_t) 以建模在偏好空间中的不确定性与探索。
• 训练以偏好为条件的演员-评论家，使用近似策略在 K 个取样偏好中进行选择的 on-policy 包络算子。
• 通过具有证据的 Boltzmann-理性似然和稳定性正则化（KL 先验、方向对齐、自洽）来优化 ELBO。
• 使用向量化回报和向量 GAE 计算每维度的信用分配，并投影到策略更新的标量 PPO 目标。

实验结果

研究问题

• RQ1 在线推断动态潜在偏好权重是否能在非平稳的多目标任务中提升性能？
• RQ2 在情境变化下，推断并自适应偏好的代理是否优于固定权重或手工调节的基线？
• RQ3 推断出的偏好是否具有可解释性并与任务相关目标对齐？
• RQ4 所 proposed DPI 框架是否在不同环境中保持稳定性并提供可解释的自适应信号？

主要发现

• DPI 在队列与迷宫任务中达到最高的平均分段回合收益（MER），并相对于基线更快地在变换后恢复。
• 变换后，DPI 能迅速适应事件，短期恢复中超越所有基线。
• DPI 在成功率方面有显著提升，表现出在动态情境下的鲁棒任务完成能力。
• 在迷宫任务中，朴素基线无法适应；DPI 保持了推断偏好与即时奖励结构之间的正向对齐。
• 消融实验显示移除 KL 正则化、方向对齐或自洽会降性能，强调了每个组件的重要性。
• 可解释性分析表明，DPI 推断的偏好在事件后与任务需求（如截止时间、 hazard、能量短缺）在语义上对齐。