[论文解读] Minimizing Age of Information for Real-Time Monitoring in Resource-Constrained Industrial IoT Networks

Qian Wang, He Chen+3 more|arXiv (Cornell University)|Dec 16, 2019

Age of Information Optimization参考文献 16被引用 6

一句话总结

该论文提出了一种最优传输调度策略，以在资源受限的工业物联网（IIoT）网络中最小化信息年龄（AoI），这些网络在不可靠信道上随机生成状态更新。通过建立一个约束马尔可夫决策过程（CMDP）并使用拉格朗日松弛法，证明了最优策略是两种单调确定性策略的随机混合，其平均AoI低于随机策略，尤其在严格功率约束下表现更优。

ABSTRACT

This paper considers an Industrial Internet of Thing (IIoT) system with a source monitoring a dynamic process with randomly generated status updates. The status updates are sent to an designated destination in a real-time manner over an unreliable link. The source is subject to a practical constraint of limited average transmission power. Thus, the system should carefully schedule when to transmit a fresh status update or retransmit the stale one. To characterize the performance of timely status update, we adopt a recent concept, Age of Information (AoI), as the performance metric. We aim to minimize the long-term average AoI under the limited average transmission power at the source, by formulating a constrained Markov Decision Process (CMDP) problem. To address the formulated CMDP, we recast it into an unconstrained Markov Decision Process (MDP) through Lagrangian relaxation. We prove the existence of optimal stationary policy of the original CMDP, which is a randomized mixture of two deterministic stationary policies of the unconstrained MDP. We also explore the characteristics of the problem to reduce the action space of each state to significantly reduce the computation complexity. We further prove the threshold structure of the optimal deterministic policy for the unconstrained MDP. Simulation results show the proposed optimal policy achieves lower average AoI compared with random policy, especially when the system suffers from stricter resource constraint. Besides, the influence of status generation probability and transmission failure rate on optimal policy and the resultant average AoI as well as the impact of average transmission power on the minimal average AoI are unveiled.

研究动机与目标

• 填补在平均传输功率受限条件下，针对随机生成状态更新的IIoT系统中最小化信息年龄（AoI）的研究空白。
• 将AoI最小化问题建模为具有平均代价准则的约束马尔可夫决策过程（CMDP），以平衡时效性与能效。
• 设计一种最优传输策略，以决定何时发送新更新或重传过时更新，同时考虑信道误码和功率约束。
• 刻画最优策略的结构，以降低计算复杂度，并实现工业监控系统中的实际部署。
• 研究状态生成概率、传输失败率以及平均传输功率对系统性能和策略设计的影响。

提出的方法

• 将IIoT监控系统建模为CMDP，其状态空间由信息年龄和缓冲区状态（存在新鲜或过时更新）定义。
• 通过拉格朗日松弛法，将约束CMDP重新表述为无约束MDP，以处理平均传输功率约束。
• 证明存在一种最优的平稳策略，该策略是来自松弛MDP的两种确定性单调策略的随机混合。
• 在无约束MDP中建立最优确定性策略的阈值结构，从而实现高效计算和动作空间缩减。
• 应用值迭代和策略迭代算法计算最优策略，并基于结构特性进行剪枝以降低复杂度。
• 在10,000个时隙内进行大量仿真，评估不同参数（传输失败率、状态生成概率、最大平均传输概率）下的性能。

实验结果

研究问题

• RQ1 状态生成概率如何影响在传输功率受限条件下的最优传输策略及由此产生的平均AoI？
• RQ2 传输失败率对可实现的最小平均AoI及最优策略结构有何影响？
• RQ3 平均传输功率约束如何影响AoI与能效之间的性能权衡？
• RQ4 在何种条件下最优策略优于随机传输策略，尤其是在资源受限场景下？
• RQ5 最优策略是否可由阈值结构表征，这种结构如何简化实现与计算？

主要发现

• 最优策略相比随机策略显著降低了平均AoI，尤其在平均传输功率约束严格时（例如，Γ_max = 0.3）。
• 当Γ_max超过某一阈值后，最优策略与随机策略的性能趋于收敛，因为两者均在可能时持续传输，得益于充足的传输机会。
• 较高的传输失败率导致更高的平均AoI，证实了可靠链路在及时监控中的关键作用。
• 随着状态生成概率（p）增加，平均AoI下降，但由于平均传输概率约束（Γ_max）限制了所有更新的及时交付，其下降速率逐渐减缓。
• 在给定新状态时发送新鲜更新的概率（P(a=3|b=1)）随p增加而降低，例如在Γ_max=0.3时，p=0.3时为0.83，而p=1时降至0.30。
• 当p=1时，系统退化为先前工作中研究的“按需生成”模型，证实了当前模型是对现有结果的推广。