[論文レビュー] Cyclically Equivariant Neural Decoders for Cyclic Codes

Xiangyu Chen, Min Ye|arXiv (Cornell University)|May 12, 2021

Coding theory and cryptography被引用数 8

ひとこと要約

本論文は、BCHおよびパunction Reed-Muller符号のシフト不変構造を活用して、ニューラルネットワークの重みに同変性を強制する、循環的同変性を持つニューラルデコーダーを提案する。この手法は、先行するニューラルデコーダーと比較して最大0.7 dBの性能向上を達成し、誤り率を最大3 dB低減するリストデコーディング手順を可能にし、高レート符号では最大尤度性能に近づく。

ABSTRACT

Neural decoders were introduced as a generalization of the classic Belief Propagation (BP) decoding algorithms, where the Trellis graph in the BP algorithm is viewed as a neural network, and the weights in the Trellis graph are optimized by training the neural network. In this work, we propose a novel neural decoder for cyclic codes by exploiting their cyclically invariant property. More precisely, we impose a shift invariant structure on the weights of our neural decoder so that any cyclic shift of inputs results in the same cyclic shift of outputs. Extensive simulations with BCH codes and punctured Reed-Muller (RM) codes show that our new decoder consistently outperforms previous neural decoders when decoding cyclic codes. Finally, we propose a list decoding procedure that can significantly reduce the decoding error probability for BCH codes and punctured RM codes. For certain high-rate codes, the gap between our list decoder and the Maximum Likelihood decoder is less than $0.1$dB. Code available at https://github.com/cyclicallyneuraldecoder/CyclicallyEquivariantNeuralDecoders

研究の動機と目的

• 循環符号の循環不変性を活用してデコーディング性能を向上させるニューラルデコーダーの設計を目的とする。
• 既存のニューラルデコーダーと同等またはそれ以上の誤り訂正性能を維持しつつ、トレーニング時間とメモリ使用量を削減することを目的とする。
• 拡張符号の自己同型群を活用したリストデコーディング手順の開発を目的とし、デコーディング誤り確率をさらに低減することを目的とする。
• 提案手法のデコーダーが、ビット誤り率とデコーディング遅延の両面で最先端のニューラルデコーダーを上回ることを実証することを目的とする。

提案手法

• 入力の巡回的シフトに対応する出力の巡回的シフトを生成するように、ニューラルデコーダーにシフト不変の重み構造を課し、最大尤度デコーダーの同変性を模倣する。
• 符号のパリティーチェック行列のトレリスグラフ表現をニューラルネットワークとして用い、層間で重みを共有することで循環不変性を強制する。
• 受信語にダミーのパリティビットを追加し、拡張符号の自己同型群からの順列を適用することでリストデコーディング手順を適用する。
• 異なる順列を用いてニューラルデコーダーを複数回実行し、得られた中間デコーディング結果から最大尤度基準に従って最良の候補を選択する。
• 循環構造を実現するため、先行研究で用いられる $ (n-k) \times n $ 行列とは異なり、$ n \times n $ の循環的パリティーチェック行列を用いる。
• バックプロパゲーションを用いて重みを最適化するが、同時にシフト不変制約を保持するようにトレーニングを行う。

実験結果

リサーチクエスチョン

• RQ1 循環符号の循環的対称性を尊重するニューラルデコーダーを設計可能か。その結果、デコーディング性能が向上するか。
• RQ2 ニューラルデコーダーの重み構造に循環的同変性を強制することで、非同変設計と比較して誤り訂正性能にどのような影響を与えるか。
• RQ3 拡張符号の自己同型群に基づくリストデコーディング手順は、デコーディング誤り確率を顕著に低減できるか。
• RQ4 循環的同変性をニューラルデコーダーに適用する際の、トレーニング時間、メモリ使用量、性能のトレードオフはいかなるものか。

主な発見

• 提案されたニューラルデコーダーは、さまざまなBCHおよびパunction Reed-Muller符号において、Nachmaniら（2018）のニューラルデコーダーと比較して一貫して0.7 dBのBER改善を達成する。
• ハイパーグラフネットワークデコーダー（Nachmani＆Wolf、2019）と比較して0.3 dBの改善を達成するが、トレーニング時間は300分の1にまで短縮される（例：BCH(63,45)では10分 vs. 2日以上）。
• リストサイズ $ n+1 $ のリストデコーディング手順により誤り確率が最大3 dB低減され、特定の高レート符号では最大尤度デコーダーから0.1 dB以内の性能を達成する。
• リストサイズ $ \ell = 8 $ という小さなリストサイズでも、リストデコーディングなしの標準デコーダーと比較して0.7–0.9 dBの性能向上を達成する。
• アブレーションスタディにより、$ n \times n $ パリティ行列の循環構造が極めて重要であることが確認され、ランダムな $ n \times n $ 行列に置き換えると性能向上が得られないことが判明した。
• 層間での重み共有によりトレーニング可能な重み数が削減され、特に高レート符号において非同変設計と比較してメモリ使用量が低減される。