[论文解读] Cache-enabled Wireless Networks with Opportunistic Interference Alignment

Ying He, Shan Hu|arXiv (Cornell University)|Jun 27, 2017

Caching and Content Delivery参考文献 24被引用 10

一句话总结

本文提出了一种基于深度强化学习的用户选择方案，用于时变无线网络中的缓存增强型机会干扰对齐（OIA）。通过将信道建模为有限状态马尔可夫信道（FSMC），并使用深度Q网络（DQN）学习最优IA用户选择策略，该方法在真实动态信道条件下显著提升了和速率性能，优于静态信道和非缓存基线方案。

ABSTRACT

Both caching and interference alignment (IA) are promising techniques for future wireless networks. Nevertheless, most of existing works on cache-enabled IA wireless networks assume that the channel is invariant, which is unrealistic considering the time-varying nature of practical wireless environments. In this paper, we consider realistic time-varying channels. Specifically, the channel is formulated as a finite-state Markov channel (FSMC). The complexity of the system is very high when we consider realistic FSMC models. Therefore, we propose a novel big data reinforcement learning approach in this paper. Deep reinforcement learning is an advanced reinforcement learning algorithm that uses deep $Q$ network to approximate the $Q$ value-action function. Deep reinforcement learning is used in this paper to obtain the optimal IA user selection policy in cache-enabled opportunistic IA wireless networks. Simulation results are presented to show the effectiveness of the proposed scheme.

研究动机与目标

• 解决现有缓存增强型IA方案的局限性，这些方案假设信道为静态或块衰落，无法反映真实世界中的时变无线环境。
• 降低在时变信道下缓存增强型OIA网络的系统复杂度，由于回传和估计约束，全信道状态信息（CSI）跟踪不可行。
• 开发一种自适应、基于学习的用户选择策略，以在动态信道条件下最大化长期网络和速率。
• 利用大数据强化学习，将缓存与干扰对齐在真实时变信道模型中进行集成。

提出的方法

• 将无线信道建模为有限状态马尔可夫信道（FSMC），以反映真实时变行为。
• 使用中心调度器收集所有用户的CSI和缓存状态，形成用于决策的全局系统状态。
• 采用深度Q网络（DQN）强化学习来近似Q值函数，并学习最优IA用户选择策略。
• 应用带折扣因子ε = 0.5的折扣累积奖励函数，以平衡即时奖励与未来奖励。
• 采用ε-greedy探索策略，ε随时间变化，从0.1开始逐渐增加至1，以平衡探索与利用。
• 使用TensorFlow离线训练DQN，经验回放缓冲区大小为100K次经验，每4步更新一次Q值。

实验结果

研究问题

• RQ1 当假设信道为静态CSI（如以往研究）时，缓存增强型机会干扰对齐在时变信道下的性能如何退化？
• RQ2 深度强化学习能否在FSMC建模的真实时变信道环境中有效学习最优IA用户选择策略？
• RQ3 与非缓存或静态信道假设相比，缓存对动态信道中OIA性能增益有何影响？
• RQ4 所提出的基于DQN的用户选择策略在动态、有限状态信道环境中的收敛行为与稳定性如何？

主要发现

• 所提出的DQN方案在约3,500次训练回合后收敛至稳定策略，和速率持续上升并最终稳定。
• 所提出的缓存OIA方案在所有测试的信道状态转移概率下均实现了最高的平均和速率，优于非缓存OIA方案和假设信道不变的基线方法。
• 随着信道状态转移概率增加（即信道变得更静态），所提方案与基线不变信道方法的性能差距缩小，证实了该方案在动态环境中的优势。
• 当信道保持完全静态（转移概率 = 1）时，所提方案与基线方法性能完全一致，验证了其在理想条件下的稳定性。
• 通过经验回放和值函数近似，该方案能有效处理信道不确定性与估计误差，学习到鲁棒的用户选择策略。
• 缓存与基于DQN的OIA的集成显著提升了时变网络的频谱效率，证明了学习型资源管理在真实无线系统中的可行性。