[论文解读] A vector minmax problem for controlled Markov chains

Sameer Kamal|arXiv (Cornell University)|Nov 2, 2010

Advanced Wireless Network Optimization参考文献 2被引用 3

一句话总结

该论文提出了一种针对受对抗性扰动影响的有限状态受控马尔可夫链的双时标控制方案，通过布莱克韦尔可及性（Blackwell approachability）确保向量平均奖励几乎必然收敛至期望的闭凸集 $\bar{D}$。该方案采用自适应且递增的时间持续时长来实施平稳策略，利用基本的双时标论证方法，实现对对抗性行为的鲁棒收敛。

ABSTRACT

The problem of controlling a finite state Markov chain in the presence of an adversary so as to ensure desired performance levels for a vector of objectives is cast in the framework of Blackwell approachability. Relying on an elementary two time scale construction a control scheme is proposed which ensures almost sure convergence to the desired set regardless of the adversarial actions.

研究动机与目标

• 解决对抗性扰动下马尔可夫决策过程中的多目标控制问题，其中经典随机控制理论失效。
• 将布莱克韦尔可及性（此前仅应用于重复博弈）扩展至具有向量奖励的受控马尔可夫链。
• 设计一种控制策略，确保运行平均奖励几乎必然收敛至期望的闭凸集 $\bar{D}$，且不受对抗性动作影响。
• 通过引入动态递增的时间尺度策略更新机制，克服先前基于返回时间方案的收敛缓慢问题。

提出的方法

• 该方案采用双时标构造，玩家在随时间递增的持续时间内保持平稳策略。
• 策略切换发生在离散时间点 $s_n$，切换间隔由依赖于当前与目标集 $\bar{D}$ 距离的时间缩放函数 $t(s_n)$ 决定。
• 时间缩放设计为：当平均奖励远离 $\bar{D}$ 时，持续时间增加；当系统趋近 $\bar{D}$ 时，持续时间减少，从而实现高效的探索-利用权衡。
• 收敛性证明依赖于一个基本的双时标结果，该结果限制了平均奖励向量的变化速率，并确保其向 $\bar{D}$ 移动。
• 关键组成部分是使用最近点投影 $x_{\bar{D}}$ 来定义下降方向，确保满足假设1中的内积条件。
• 分析采用子序列论证和反证法，证明在几乎必然收敛下，平均奖励序列的所有极限点均位于 $\bar{D}$ 内。

实验结果

研究问题

• RQ1 布莱克韦尔可及性能否扩展至具有向量奖励和对抗性扰动的受控马尔可夫链？
• RQ2 与基于返回时间的方案相比，如何加速布莱克韦尔可及性在受控马尔可夫链中的收敛？
• RQ3 何种控制策略结构可确保在对抗性动作下，几乎必然收敛至目标集 $\bar{D}$，即使返回固定状态的时间极为稀少？
• RQ4 是否可通过具有递增时间持续时间的双时标策略实现鲁棒收敛，而无需依赖再生周期？

主要发现

• 所提出的方案确保运行平均奖励向量几乎必然收敛至期望集合 $\bar{D}$ 的闭包，且不受对手策略影响。
• 在标准遍历性和凸性假设下建立收敛性，关键条件是存在一种玩家策略，使得在 $\bar{D}$ 外任一点均能确保指向 $\bar{D}$ 的下降方向。
• 时间缩放机制确保各策略的持续时间初始较短，并随时间逐步增加，从而实现高效的探索与利用。
• 证明依赖于双时标论证，该论证控制了平均奖励的变化速率，并确保序列的极限点位于 $\bar{D}$ 内。
• 该方案避免了对返回至固定状态的稀有时间的依赖，因此在大状态空间或混合缓慢的链中显著提升了收敛速度。
• 只要满足布莱克韦尔条件（假设1），即使对手采取对抗性行为，结果依然成立。