[论文解读] Learning Aided Optimization for Energy Harvesting Devices with Outdated State Information

Hao Yu, Michael J. Neely|arXiv (Cornell University)|Jan 10, 2018

Energy Harvesting in Wireless Networks参考文献 35被引用 3

一句话总结

本文提出了一种面向能量采集设备的学习辅助功率控制算法，该算法在系统状态信息过时且概率分布未知的情况下运行。通过结合在线梯度学习与漂移加惩罚优化，该算法在使用大小为 $O(1/ au)$ 的电池时，实现了与最优值相差 $O(\epsilon)$ 的效用，收敛时间为 $O(1/\epsilon^2)$，从而在无需实时状态知识或分布假设的前提下，实现了低复杂度、自适应的控制。

ABSTRACT

This paper considers utility optimal power control for energy harvesting wireless devices with a finite capacity battery. The distribution information of the underlying wireless environment and harvestable energy is unknown and only outdated system state information is known at the device controller. This scenario shares similarity with Lyapunov opportunistic optimization and online learning but is different from both. By a novel combination of Zinkevich's online gradient learning technique and the drift-plus-penalty technique from Lyapunov opportunistic optimization, this paper proposes a learning-aided algorithm that achieves utility within $O(ε)$ of the optimal, for any desired $ε>0$, by using a battery with an $O(1/ε)$ capacity. The proposed algorithm has low complexity and makes power investment decisions based on system history, without requiring knowledge of the system state or its probability distribution.

研究动机与目标

• 解决在既无法获取当前系统状态也未知其分布时，实现能量采集设备效用最优功率控制的挑战。
• 设计一种低复杂度的控制策略，仅依赖过时的系统状态信息和历史数据运行。
• 弥补现有方法的不足，这些方法要么需要完整的状态知识，要么依赖独立同分布假设，尤其在动态、非平稳环境中表现不佳。
• 建立效用最优性与电池容量之间的理论权衡，证明通过 $O(1/\epsilon)$ 的电池容量可实现 $O(\epsilon)$ 的最优性。

提出的方法

• 该算法将 Zinkevich 的在线梯度学习与 Lyapunov 优化中的漂移加惩罚（DPP）框架相结合，以处理时变约束和未知分布。
• 采用时变约束集 $\mathcal{P}(t)$，将功率使用限制在当前电池电量 $E[t]$ 范围内，确保能量因果性。
• 功率更新规则结合了对偶变量 $Q[t]$ 和惩罚参数 $V$，在效用最大化与电池稳定性之间实现平衡。
• 通过投影步骤确保在每个时隙中，功率向量 $\mathbf{p}[t]$ 均保持在可行范围内，即使能量不足也能维持。
• 通过修改梯度更新以使用过去系统状态，该算法能够处理状态观测延迟，同时保持性能保证。
• 通过将状态演化建模为马氏链，该方法被扩展至非独立同分布的系统状态，同时保持相同的性能权衡。

实验结果

研究问题

• RQ1 当仅能获取过时的系统状态信息且底层分布未知时，学习辅助算法能否在能量采集系统中实现接近最优的效用？
• RQ2 此类系统中，效用最优性与电池容量之间的基本权衡是什么？
• RQ3 观测延迟如何影响基于在线学习的功率控制在能量采集设备中的收敛性和性能？
• RQ4 所提出的算法是否能优于基线方法，例如使用简单投影的在线梯度学习或基于能量约束的过时效用最大化方法？
• RQ5 在非独立同分布的系统状态过程（如马氏调制信道）下，性能保证是否依然成立？

主要发现

• 所提算法对任意 $\epsilon > 0 $，均能实现与最优效用相差 $O(\epsilon)$ 的效用，证明了在未知系统动态下的近似最优性。
• 仅需 $O(1/\epsilon)$ 的电池容量即可实现 $O(\epsilon)$ 的最优性，建立了性能与硬件成本之间的紧密权衡。
• 该算法的收敛时间为 $O(1/\epsilon^2)$，与期望精度 $\epsilon$ 呈多项式关系，确保了实际收敛性。
• 仿真结果表明，该算法优于两种基线方法：一种采用投影在线梯度学习，另一种采用过时效用最大化。
• 即使观测延迟长达 10 个时隙，该算法仍能保持长期性能，仅对收敛速度产生轻微影响，证实了其对延迟反馈的鲁棒性。