[论文解读] Abelian Group Codes for Source Coding and Channel Coding

Aria G. Sahebi, S. Sandeep Pradhan|arXiv (Cornell University)|May 7, 2013

Cooperative Communication and Network Coding参考文献 30被引用 3

一句话总结

本文提出了一种基于阿贝尔群码的单字母信息论表征，用于任意离散无记忆信源和信道的可实现率失真率与信道编码率。当群为域时，结果退化为对称的率失真函数与对称容量，并在非对称场景（如相关四元信源的Z4码）中表现出优于线性码的性能。

ABSTRACT

In this paper, we study the asymptotic performance of Abelian group codes for the lossy source coding problem for arbitrary discrete (finite alphabet) memoryless sources as well as the channel coding problem for arbitrary discrete (finite alphabet) memoryless channels. For the source coding problem, we derive an achievable rate-distortion function that is characterized in a single-letter information-theoretic form using the ensemble of Abelian group codes. When the underlying group is a field, it simplifies to the symmetric rate-distortion function. Similarly, for the channel coding problem, we find an achievable rate characterized in a single-letter information-theoretic form using group codes. This simplifies to the symmetric capacity of the channel when the underlying group is a field. We compute the rate-distortion function and the achievable rate for several examples of sources and channels. Due to the non-symmetric nature of the sources and channels considered, our analysis uses a synergy of information theoretic and group-theoretic tools.

研究动机与目标

• 推导基于任意有限阿贝尔群上阿贝尔群码的失真源编码的单字母可实现率失真函数。
• 建立基于任意有限阿贝尔群上阿贝尔群码的信道编码的单字母可实现率。
• 证明在非对称信源与信道模型中，群码可优于标准随机编码集合与线性码。
• 统一信息论与群论工具，用于分析多终端与单终端通信问题中结构化码的性能。

提出的方法

• 作者通过阿贝尔群码的系综分析，基于群结构与商群的熵，推导出单字母率失真函数。
• 他们应用群论工具，包括子群分解与陪集分析，刻画在群作用下典型集的大小。
• 该方法涉及通过商群定义等价类，并分析在群陪集下序列的条件典型性。
• 该分析利用Z_{p^r}中的p进表示结构，以处理非域群，并推导环上线性方程的解集。
• 作者证明，在Z_{p^r}中，方程ax = b的解集数量与p进分解中代表元的选择无关，从而确保群码构造的一致性。
• 他们建立了群陪集与典型集交集大小的上界，表明其集中在条件分布的熵附近。

实验结果

研究问题

• RQ1 在非对称信源与信道模型中，阿贝尔群码是否能实现优于随机编码集合的渐近性能？
• RQ2 群结构的选择——特别是非域群如Z_{p^r}——如何影响可实现的率失真与信道编码率？
• RQ3 在何种条件下，使用阿贝尔群码可在性能上严格优于伽罗瓦域上的线性码？
• RQ4 如何将群论工具与信息论典型性结合，以分析结构化码系综？
• RQ5 阿贝尔群码在任意有限阿贝尔群上的率失真函数的精确单字母表征是什么？

主要发现

• 阿贝尔群码的可实现率失真函数以单字母形式表征，基于群熵与商群结构，推广了对称率失真函数。
• 当底层群为域时，推导出的率失真函数退化为对称率失真函数，与已知结果一致。
• 在信道编码中，阿贝尔群码的可实现率以单字母形式表征，当群为域时，其退化为对称信道容量。
• 在非对称场景（如Z4上的相关四元信源）中，阿贝尔群码优于GF(4)上的线性码，展现出超越复杂度的性能优势。
• 群陪集与典型集交集的大小被条件熵（给定群商）紧密界定，且具有指数集中性。
• 在Z_{p^r}中，方程ax = b的解集与p进分解中代表元的选择无关，确保了码构造的鲁棒性。