[논문 리뷰] Learning to Decode Protograph LDPC Codes

Jincheng Dai, Kailin Tan외 5명|arXiv (Cornell University)|2021. 02. 07.

Error Correcting Code Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 codelength과 관계없이 일정한 디코더 복잡도를 유지하기 위해 리프팅 구조를 활용하는 파라미터 공유 신경 min-sum (MS) 디코더를 제안한다. 엣지 유형 별로 가속 가능한 가중치와 편향을 적용하고 반복 단위로 그라디언트 기반 학습 방법을 사용함으로써, 복잡도는 약간 증가했지만 기존의 MS 디코딩 대비 최대 1 dB의 SNR 향상을 달성하며, 일부 짧은 코드에서는 sum-product 알고리즘조차도 능가한다.

ABSTRACT

The recent development of deep learning methods provides a new approach to optimize the belief propagation (BP) decoding of linear codes. However, the limitation of existing works is that the scale of neural networks increases rapidly with the codelength, thus they can only support short to moderate codelengths. From the point view of practicality, we propose a high-performance neural min-sum (MS) decoding method that makes full use of the lifting structure of protograph low-density parity-check (LDPC) codes. By this means, the size of the parameter array of each layer in the neural decoder only equals the number of edge-types for arbitrary codelengths. In particular, for protograph LDPC codes, the proposed neural MS decoder is constructed in a special way such that identical parameters are shared by a bundle of edges derived from the same edge-type. To reduce the complexity and overcome the vanishing gradient problem in training the proposed neural MS decoder, an iteration-by-iteration (i.e., layer-by-layer in neural networks) greedy training method is proposed. With this, the proposed neural MS decoder tends to be optimized with faster convergence, which is aligned with the early termination mechanism widely used in practice. To further enhance the generalization ability of the proposed neural MS decoder, a codelength/rate compatible training method is proposed, which randomly selects samples from a set of codes lifted from the same base code. As a theoretical performance evaluation tool, a trajectory-based extrinsic information transfer (T-EXIT) chart is developed for various decoders. Both T-EXIT and simulation results show that the optimized MS decoding can provide faster convergence and up to 1dB gain compared with the plain MS decoding and its variants with only slightly increased complexity. In addition, it can even outperform the sum-product algorithm for some short codes.

연구 동기 및 목표

• codelength 증가에 따라 급격히 증가하는 복잡도 문제를 겪는 딥러닝 기반 LDPC 디코더의 확장성 문제를 해결하기 위해.
• 신뢰도 전파를 더 잘 근사하는 가속 가능한 파rameter를 도입함으로써, 프로토그래프 LDPC 코드의 min-sum 디코딩 성능을 향상시키기 위해.
• 다양한 코드 길이와 레이트에 걸쳐 일반화할 수 있도록 하면서도, 학습 및 디코딩 복잡도를 낮게 유지하기 위해.
• 긴 코드에 대한 깊은 신경 디코더 학습에서 발생하는 vanishing gradient 문제를 새로운 계층별 학습 전략을 통해 해결하기 위해.
• 동일한 기본 그래프에서 유도된 다양한 코드 세트를 학습하여 일반화 성능을 향상시키기 위해.

제안 방법

• min-sum 알고리즘의 메시지 업데이트 식에 가속 가능한 가중치와 편향을 추가하여 신경 min-sum 디코더를 설계함으로써, sum-product 알고리즘에 더 가까운 근사가 가능해짐.
• 파라미터 공유 메커니즘을 통해 기본 그래프에서 동일한 엣지 유형으로 유도된 모든 엣지는 동일한 가중치와 편향을 공유함으로써, codelength과 무관하게 복잡도를 분리함.
• 반복 단위로 그라디언트 기반 학습 방법을 제안함으로써, 계층별로 매개변수를 최적화함으로써 수렴 성능 향상과 vanishing gradient 문제 방지.
• codelength/레이트 호환 학습 전략을 적용하여, 리프팅된 코드의 가족에서 무작위로 샘플링하여 다양한 코드 파rameter에 걸쳐 일반화 성능 향상.
• 경로 기반 외부 정보 전달도 차트(T-EXIT)를 개발하여 디코더 수렴성과 성능 분석 및 검증.
• 표준 NMS 및 OMS 디코딩 수준의 복잡도를 유지함으로써 하드웨어 친화적인 구현 가능.

실험 결과

연구 질문

• RQ1 다양한 codelength에서 복잡도가 일정하게 유지되면서도 기존 MS 디코딩보다 성능 향상을 달성할 수 있는 신경 min-sum 디코더를 설계할 수 있는가?
• RQ2 프로토그래프 LDPC 코드의 리프팅된 엣지 간에 파라미터 공유를 통해 모델 크기와 학습 복잡도를 어떻게 줄일 수 있는가?
• RQ3 반복 단위 학습 방법이 긴 LDPC 코드에 대한 깊은 신경 디코더에서 발생하는 vanishing gradient 문제를 효과적으로 완화할 수 있는가?
• RQ4 MS 디코더의 가속 가능한 파rameter가 Tanner 그래프의 근사 오차와 단순 사이클 영향을 어느 정도 보완할 수 있는가?
• RQ5 제안된 신경 MS 디코더가 특정 길이의 코드, 특히 짧은 코드에서 sum-product 알고리즘을 능가하는가?

주요 결과

• 제안된 신경 MS 디코더는 다양한 codelength에서 표준 min-sum, 정규화된 min-sum, 오프셋 min-sum 디코딩 대비 최대 1 dB의 SNR 향상을 달성한다.
• 짧은 코드에서는 신경 MS 디코더가 sum-product 알고리즘을 능가하며, 디코딩 근사 오차를 효과적으로 보완함을 입증한다.
• 디코더 복잡도는 NMS 및 OMS와 유사하여 하드웨어 구현에 매우 적합하다.
• 반복 단위 학습 방법은 수렴 속도 향상과 함께 vanishing gradient 문제를 방지하여 학습 안정성 향상.
• 파라미터 공유 메커니즘 덕분에 디코더 크기의 증가가 엣지 유형 수에만 비례하며, codelength과 무관하게 확장 가능해 장거리 코드 적용에 유리.
• T-EXIT 차트 분석을 통해 더 빠른 수렴과 향상된 외부 정보 전달도를 확인하였으며, 이는 디코더의 향상된 반복 디코딩 행동을 검증한다.