[논문 리뷰] Cyclically Equivariant Neural Decoders for Cyclic Codes

Xiangyu Chen, Min Ye|arXiv (Cornell University)|2021. 05. 12.

Coding theory and cryptography인용 수 8

한 줄 요약

이 논문은 순환 부호의 순환 불변성 구조를 활용하여 순환적으로 등변하는 신경망 디코더를 제안한다. BCH 및 펌프드 리드-멀러 부호의 이동 불변성 구조를 이용해 신경망 가중치에 등변성을 강제한다. 이 방법은 이전의 신경 디코더 대비 최대 0.7 dB의 성능 향상을 달성하며, 오류율을 최대 3 dB 감소시키는 리스트 디코딩 절차를 가능하게 하여 고율 부호의 최대우도 성능에 가까워진다.

ABSTRACT

Neural decoders were introduced as a generalization of the classic Belief Propagation (BP) decoding algorithms, where the Trellis graph in the BP algorithm is viewed as a neural network, and the weights in the Trellis graph are optimized by training the neural network. In this work, we propose a novel neural decoder for cyclic codes by exploiting their cyclically invariant property. More precisely, we impose a shift invariant structure on the weights of our neural decoder so that any cyclic shift of inputs results in the same cyclic shift of outputs. Extensive simulations with BCH codes and punctured Reed-Muller (RM) codes show that our new decoder consistently outperforms previous neural decoders when decoding cyclic codes. Finally, we propose a list decoding procedure that can significantly reduce the decoding error probability for BCH codes and punctured RM codes. For certain high-rate codes, the gap between our list decoder and the Maximum Likelihood decoder is less than $0.1$dB. Code available at https://github.com/cyclicallyneuraldecoder/CyclicallyEquivariantNeuralDecoders

연구 동기 및 목표

• 순환 부호의 순환 불변성을 활용하여 디코딩 성능을 향상시키는 신경 디코더를 설계한다.
• 기존의 신경 디코더보다 동일하거나 향상된 오류 수정 성능을 유지하면서 학습 시간과 메모리 사용량을 줄인다.
• 확장된 부호의 자동형군을 활용한 리스트 디코딩 절차를 개발하여 디코딩 오류 확률을 추가로 감소시킨다.
• 제안된 디코더가 비트 오류율과 디코딩 지연 시간 모두에서 최신 기술보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 입력의 순환 이동에 따라 출력도 해당하는 순환 이동을 보이도록 신경 디코더에 이동 불변 가중치 구조를 도입함으로써 최대우도 디코더의 등변성과 유사하게 만든다.
• 코드의 검사행렬을 트렐리스 그래프로 표현하고, 층 간 공유된 가중치를 통해 순환 불변성을 강제하는 신경망으로 구현한다.
• 수신 단어에 가짜 검사비트를 추가하고 확장된 부호의 자동형군에서 유도된 순열을 적용하여 리스트 디코딩 절차를 적용한다.
• 다양한 순열에 따라 중간 디코딩 결과를 다수 생성하고, 그 중에서 최대우도 기준으로 최선의 후보를 선택한다.
• 기존 연구에서 사용한 $ (n-k) \times n $ 행렬과는 달리, 순환 구조를 가능하게 하기 위해 $ n \times n $ 크기의 순환 검사행렬을 사용한다.
• 학습 중에 역전파를 사용하여 가중치를 최적화하면서도 이동 불변 제약 조건을 유지한다.

실험 결과

연구 질문

• RQ1 순환 부호의 순환 대칭성을 존중하는 신경 디코더를 설계할 수 있는가? 이는 디코딩 성능 향상으로 이어지는가?
• RQ2 신경 디코더의 가중치 구조에 순환 등변성을 강제할 경우, 비등변 설계 대비 오류 수정 성능에 어떤 영향을 미치는가?
• RQ3 확장된 부호의 자동형군 기반 리스트 디코딩 절차는 디코딩 오류 확률을 상당히 감소시킬 수 있는가?
• RQ4 순환 등변성을 신경 디코더에 적용할 경우, 학습 시간, 메모리 사용량, 성능 간의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 신경 디코더는 다양한 BCH 및 펌프드 RM 부호에서 Nachmani 등(2018)의 디코더 대비 일관되게 0.7 dB의 BER 향상을 달성한다.
• Nachmani & Wolf(2019)의 하이퍼그래프 네트워크 디코더보다 0.3 dB 향상되었으며, 학습 시간은 300배 감소했다—예를 들어 BCH(63,45)의 경우 10분 대비 2일 이상 소요되는 것으로 비교된다.
• 리스트 크기가 $ n+1 $인 리스트 디코딩 절차는 오류 확률을 최대 3 dB 감소시키며, 일부 고율 부호에서는 최대우도 디코더와 0.1 dB 이내의 성능 차이를 보인다.
• 작은 리스트 크기 $ \ell = 8 $ 조차도, 리스트 디코딩을 적용하지 않은 표준 디코더 대비 0.7–0.9 dB의 성능 향상을 제공한다.
• 제거 실험 결과, $ n \times n $ 검사행렬의 순환 구조가 핵심임을 확인하였으며, 이를 무작위 $ n \times n $ 행렬로 대체할 경우 성능 향상이 없음을 입증하였다.
• 층 간 가중치 공유로 학습 가능한 가중치 수가 감소하여, 특히 고율 부호에서 비등변 설계 대비 메모리 사용량이 낮아진다.