[论文解读] Reinforcement Learning Evaluation and Solution for the Feedback Capacity of the Ising Channel with Large Alphabet

Ziv Aharoni, Oron Sabag+1 more|arXiv (Cornell University)|Aug 18, 2020

Reinforcement Learning in Robotics参考文献 13被引用 5

一句话总结

该论文提出一种基于强化学习（RL）的方法，用于计算具有大字母表大小的无记忆有限状态信道（FSCs），特别是Ising信道的反馈容量，克服了传统动态规划方法在计算复杂度上的指数级增长问题。通过在RL中使用基于神经网络的函数逼近，作者推导出容量的数值下界，利用Q图推断最优解的结构，并通过对偶法建立解析上界，实现了字母表大小 ≤8 时的精确容量，以及更大字母表时的紧致边界。

ABSTRACT

We propose a new method to compute the feedback capacity of unifilar finite state channels (FSCs) with memory using reinforcement learning (RL). The feedback capacity was previously estimated using its formulation as a Markov decision process (MDP) with dynamic programming (DP) algorithms. However, their computational complexity grows exponentially with the channel alphabet size. Therefore, we use RL, and specifically its ability to parameterize value functions and policies with neural networks, to evaluate numerically the feedback capacity of channels with a large alphabet size. The outcome of the RL algorithm is a numerical lower bound on the feedback capacity, which is used to reveal the structure of the optimal solution. The structure is modeled by a graph-based auxiliary random variable that is utilized to derive an analytic upper bound on the feedback capacity with the duality bound. The capacity computation is concluded by verifying the tightness of the upper bound by testing whether it is BCJR invariant. We demonstrate this method on the Ising channel with an arbitrary alphabet size. For an alphabet size smaller than or equal to 8, we derive the analytic solution of the capacity. Next, the structure of the numerical solution is used to deduce a simple coding scheme that achieves the feedback capacity and serves as a lower bound for larger alphabets. For an alphabet size greater than 8, we present an upper bound on the feedback capacity. For an asymptotically large alphabet size, we present an asymptotic optimal coding scheme.

研究动机与目标

• 为解决在大字母表大小下，计算无记忆FSCs反馈容量时传统动态规划方法面临的指数级计算复杂度问题。
• 开发一种可扩展的方法，用于估计因状态空间爆炸而使传统MDP求解器失效的信道中的反馈容量。
• 利用RL的函数逼近能力，数值估算反馈容量，并推断结构模式以推导解析解。
• 通过使用对偶法推导反馈容量的解析上界，并利用BCJR不变性验证其紧致性，以确认容量可实现性。
• 为小字母表大小提出一种容量达到的编码方案，并为大字母表提供渐近边界。

提出的方法

• 将反馈容量问题建模为具有连续状态和动作空间的马尔可夫决策过程（MDP），其参数由信念状态和输入分布定义。
• 应用深度强化学习，使用神经网络逼近值函数和策略，从而在大规模状态和动作空间上实现可扩展的优化。
• 利用数值RL输出构建Q图——即MDP主要状态及其转移的有限状态表示——以捕捉解的结构。
• 使用对偶边界方法推导反馈容量的解析上界，其中Q图作为辅助随机变量。
• 通过验证转移矩阵 $T_{Y|Q}$ 的BCJR不变性，测试上界紧致性，确认该上界可实现。
• 对于 $|\mathcal{X}| \leq 8$，推导出闭式解析解及一种实现容量的简单编码方案。

实验结果

研究问题

• RQ1 强化学习是否能有效估算在动态规划失效的大字母表大小下，无记忆FSCs的反馈容量？
• RQ2 随着字母表大小增加，Ising信道最优策略中浮现的结构模式是什么？
• RQ3 RL的数值解是否可用于构建Q图，从而通过使用对偶法实现解析上界？
• RQ4 所推导的反馈容量上界是否紧致？能否通过BCJR不变性验证？
• RQ5 当字母表大小增长时，Ising信道的反馈容量渐近行为如何？

主要发现

• 对于字母表大小 $|\mathcal{X}| \leq 8$，Ising信道的反馈容量被解析确定为 $C_{\text{FB}} = \frac{3}{4} \log \frac{|\mathcal{X}|}{2}$。
• 为 $|\mathcal{X}| \leq 8$ 推导出一种容量达到的编码方案，其基于从字母表两个不相交子集交替传输。
• 随着字母表大小增加，基于RL的数值下界持续改善，表明最优策略结构在 $|\mathcal{X}| = 8$ 之后仍在演化。
• 对于 $|\mathcal{X}| > 8$，使用对偶法推导出解析上界，但其紧致性尚未验证。
• 通过BCJR不变性证明，该上界在 $|\mathcal{X}| \leq 8$ 时是紧致的，从而确认了解析解的有效性。
• 对于渐近大字母表大小，论文推导出下界和上界，二者渐近紧致，揭示出在 $|\mathcal{X}| \leq 8$ 时速率趋于 $\frac{2}{3}$ 的饱和特性。