[논문 리뷰] Boosting Learning for LDPC Codes to Improve the Error-Floor Performance

Hee-Youl Kwak, Dae-Young Yun외 3명|arXiv (Cornell University)|2023. 10. 11.

Error Correcting Code TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 신경 min-sum (NMS) 디코더를 위한 새로운 훈련 프레임워크를 제안하며, LDPC 코드에서 오차-플로어를 제거하기 위해 부스팅 학습을 사용하여 첫 번째 디코더에서 수정되지 않은 단어들에 특화된 후처리 디코더를 전문화시킨다. 블록 단위 재훈련 스케줄과 동적 가중치 공유를 도입함으로써, 하드웨어 오버헤드 없이 WiMAX, IEEE 802.11n 및 5G LDPC 코드에서 FER = 10⁻⁷까지 거의 오차-플로어 없는 성능을 달성한다.

ABSTRACT

Low-density parity-check (LDPC) codes have been successfully commercialized in communication systems due to their strong error correction capabilities and simple decoding process. However, the error-floor phenomenon of LDPC codes, in which the error rate stops decreasing rapidly at a certain level, presents challenges for achieving extremely low error rates and deploying LDPC codes in scenarios demanding ultra-high reliability. In this work, we propose training methods for neural min-sum (NMS) decoders to eliminate the error-floor effect. First, by leveraging the boosting learning technique of ensemble networks, we divide the decoding network into two neural decoders and train the post decoder to be specialized for uncorrected words that the first decoder fails to correct. Secondly, to address the vanishing gradient issue in training, we introduce a block-wise training schedule that locally trains a block of weights while retraining the preceding block. Lastly, we show that assigning different weights to unsatisfied check nodes effectively lowers the error-floor with a minimal number of weights. By applying these training methods to standard LDPC codes, we achieve the best error-floor performance compared to other decoding methods. The proposed NMS decoder, optimized solely through novel training methods without additional modules, can be integrated into existing LDPC decoders without incurring extra hardware costs. The source code is available at https://github.com/ghy1228/LDPC_Error_Floor .

연구 동기 및 목표

• 초고신뢰성 6G 및 xURLLC 시스템에서 특히 중요한 초래 오차-플로어 현상에 대응한다.
• 하드웨어 복잡도를 추가하지 않고 저복잡도 신경 min-sum (NMS) 디코더의 오차-플로어 성능을 향상시킨다.
• 깊이 있는 반복적 NMS 디코더에서의 기울기 소실 및 국소 최소값 문제와 같은 훈련 과제를 해결한다.
• 높은 오차-플로어 억제 성능을 유지하면서도 가중치 학습 수를 최소화한다.
• 기존 LDPC 시스템에 추가적인 면적 또는 지연 없이 제안된 NMS 디코더를 직접 하드웨어 통합할 수 있도록 한다.

제안 방법

• 첫 번째 디코더는 워터폴 성능에 집중하고, 두 번째 디코더는 첫 번째 디코더에서 수정되지 않은 코드워드들에만 전적으로 훈련되는 방식으로, 두 신경 디코더를 연결하여 부스팅 학습을 적용한다.
• 디코딩 반복을 부분 블록으로 나누고 각 단계에서 이전 블록을 재훈련하는 블록 단위 훈련 스케줄을 구현하여 기울기 소실 문제를 방지하고 국소 최소값에서 벗어나도록 한다.
• 반복 간 가중치를 그룹화하여 동적 가중치 할당을 도입함으로써 파라미터 수를 줄이고, 동시에 트랩셋 관련 오차 패턴을 수정하는 데 필요한 다양성을 유지한다.
• 만족하지 못한 체크 노드를 핵심 훈련 신호로 사용하며, 이들을 더 높은 가중치로 할당하여 오차-플로어 유도 패턴의 수정 능력을 향상시킨다.
• 수신된 단어를 훈련 샘플로 사용하며, Eb/N0 = 2–4 dB에서 비트 오차율이 10⁻³인 경우를 대상으로 반복 단위 훈련 스케줄을 적용한다.
• 수정되지 않은 단어의 수정에 중점을 두는 손실 함수를 최적화하여 후처리 디코더가 오차-플로어 패턴에 특화되도록 한다.

Figure 2 : Illustration of the proposed weight sharing technique and comparison with other sharing techniques.

실험 결과

연구 질문

• RQ1 두 단계 신경 디코더 아키텍처가 수정되지 않은 단어에 특화된 두 번째 디코더를 통해 LDPC 코드의 오차-플로어를 효과적으로 억제할 수 있는가?
• RQ2 50회 이상의 반복을 가진 깊은 NMS 디코더에서 블록 단위 재훈련 스케줄이 기울기 소실 문제를 완화하는가?
• RQ3 최소한의 고유 가중치를 가진 동적 가중치 공유 방식이 높은 오차-플로어 억제 성능을 유지할 수 있는가?
• RQ4 기존의 후처리 및 다중 손실 훈련 기법과 비교해 복잡도와 성능 면에서 제안된 훈련 방법은 어떠한가?
• RQ5 제안된 NMS 디코더가 하드웨어 수정 없이 다양한 표준 LDPC 코드(예: WiMAX, 5G, IEEE 802.11n)에서 거의 오차-플로어 없는 성능을 얼마나 잘 달성할 수 있는가?

주요 결과

• 제안된 NMS 디코더는 WiMAX, IEEE 802.11n 및 5G LDPC 코드에서 오차-플로어가 눈에 띄지 않을 정도로 FER = 10⁻⁷를 달성하며, 기존의 NMS 및 후처리 기법보다 뛰어난 성능을 보였다.
• 수정되지 않은 단어에 대해 후처리 디코더를 훈련시킴으로써 오차-플로어가 효과적으로 제거되었으며, 기준 NMS 디코더 대비 오차-플로어 영역에서 FER가 수 개의 지수 단위 감소하였다.
• 블록 단위 재훈련 스케줄은 50회의 반복을 가진 NMS 디코더를 성공적으로 훈련시켰으며, 기울기 소실 문제를 방지하고 다중 손실 및 표준 반복 단위 훈련 방법보다 뛰어난 성능을 보였다.
• 제안된 방법은 전체 가중치 다양성 기법(예: ABC 2018의 경우 676,800 연산)에 비해 훨씬 낮은 메모리 오버헤드를 가지며, 오직 3×ℓ 가중치(ℓ=50일 경우 130개)만을 사용한다.
• MS 디코더보다 높은 반복 복잡도를 가짐에도 불구하고, 총 반복 수가 적고 효율적인 가중치 공유 덕분에 최신 후처리 기법(150회의 반복 사용)보다 총 복잡도가 낮았다.
• 해당 방법은 하드웨어 호환성이 있으며, 복잡도 분석(표 2 참조)에 의해 기존 LDPC 디코더 아키텍처에 추가 면적 또는 지연 없이 직접 통합 가능함을 확인하였다.