[论文解读] Machine Learning for Error Correction with Natural Redundancy

Pulakesh Upadhyaya, Anxiao Jiang|arXiv (Cornell University)|Oct 15, 2019

Advanced Data Storage Technologies参考文献 51被引用 7

一句话总结

本文提出一种基于机器学习的方法，利用数据中的自然冗余（NR）进行纠错，通过深度学习检测文件类型并挖掘NR以实现软解码。提出两种范式——表示无关（Representation-Oblivious）与表示感知（Representation-Aware），表明将基于NR的解码与LDPC码结合，可在30%删失率下将解码阈值提升五倍。

ABSTRACT

The persistent storage of big data requires advanced error correction schemes. The classical approach is to use error correcting codes (ECCs). This work studies an alternative approach, which uses the redundancy inherent in data itself for error correction. This type of redundancy, called Natural Redundancy (NR), is abundant in many types of uncompressed or even compressed files. The complex structures of Natural Redundancy, however, require machine learning techniques. In this paper, we study two fundamental approaches to use Natural Redundancy for error correction. The first approach, called Representation-Oblivious, requires no prior knowledge on how data are represented or compressed in files. It uses deep learning to detect file types accurately, and then mine Natural Redundancy for soft decoding. The second approach, called Representation-Aware, assumes that such knowledge is known and uses it for error correction. Furthermore, both approaches combine the decoding based on NR and ECCs. Both experimental results and analysis show that such an integrated scheme can substantially improve the error correction performance.

研究动机与目标

• 解决大数据存储系统中长期数据可靠性问题，传统前向纠错码（ECC）可能因累积错误而失效。
• 通过利用未压缩或压缩文件中固有的自然冗余（NR），克服人工冗余的局限性。
• 开发一种可扩展、非侵入式的纠错方法，无需重新处理或修改现有数据。
• 研究两种由机器学习驱动的范式——表示无关与表示感知，以实现有效的NR挖掘与解码。
• 证明将基于NR的解码与现有ECC结合，可显著提升纠错性能，且无需更改存储基础设施。

提出的方法

• 使用深度学习模型在不预先知晓数据表示的情况下分类文件类型，从而在表示无关范式中实现NR的自动检测。
• 设计软解码算法，利用NR中的结构模式，基于上下文一致性估计可能的原始数据值。
• 在表示感知范式中，利用已知文件格式（如HTML、JPEG、PDF）定制NR挖掘策略，以提高准确性。
• 通过混合解码框架将基于NR的软解码与传统LDPC解码结合，以提升纠错阈值。
• 应用迭代与顺序解码方案，在NR与ECC解码之间交替进行，以优化估计并降低误码率。
• 将NR挖掘问题形式化为约束优化任务，在最小化与有效数据结构的汉明距离的同时，保持语义与结构一致性。

实验结果

研究问题

• RQ1 在不预先知晓其格式的情况下，机器学习能否有效检测并利用多种文件类型的自然冗余？
• RQ2 与仅使用ECC的解码相比，将基于NR的解码与LDPC码结合后，纠错性能如何提升？
• RQ3 使用NR进行纠错与用于数据压缩之间的计算复杂度权衡如何？
• RQ4 表示感知方法在解码准确率与阈值提升方面，相较于表示无关方法的优越程度如何？
• RQ5 当自然冗余被用作资源时，数据压缩与纠错之间的理论复杂度边界是什么？

主要发现

• 在30%删失率下，表示感知方法使LDPC码的解码阈值提升五倍，显著增强纠错鲁棒性。
• 表示无关方法在无需了解文件格式或压缩方案的情况下实现有效纠错，适用于底层存储控制器。
• 基于NR的解码通过利用数据中的结构模式（如语言语法、图像纹理、文件元数据）显著降低误码率。
• 使用NR进行纠错的计算复杂度低于用于数据压缩，尤其在高熵数据中，这是由于采用了结构化约束。
• 结合NR与ECC的混合解码优于单一方法，显示出在可靠性与阈值扩展方面的协同增益。
• 理论分析表明，虽然使用NR进行数据压缩在一般情况下为NP难问题，但在特定结构约束下，使用NR进行纠错可为多项式时间可解，凸显了有利的复杂度权衡。