[논문 리뷰] Learned Decimation for Neural Belief Propagation Decoders

Andreas Buchberger, Christian Häger외 3명|arXiv (Cornell University)|2020. 11. 04.

Error Correcting Code Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 짧은 LDPC 코드를 위한 이중 단계 디코딩 프레임워크인 신경망 신뢰 전파와 감소(Neural Belief Propagation with Decimation, NBPD)를 제안한다. 이는 리스트 기반과 학습된 감소를 조합하여 NBP 성능을 향상시킨다. 신뢰도 기반으로 변수 노드를 고정할지 여부를 결정하기 위해 반복적으로 신경망을 사용함으로써, NBPD는 표준 NBP 대비 0.75 dB 향상을 달성하고, (128,64) LDPC 코드에서 블록 오류율 $10^{-4}$ 시점에서 최대우도(decoding)에 1 dB 이내로 접근한다.

ABSTRACT

We introduce a two-stage decimation process to improve the performance of neural belief propagation (NBP), recently introduced by Nachmani et al., for short low-density parity-check (LDPC) codes. In the first stage, we build a list by iterating between a conventional NBP decoder and guessing the least reliable bit. The second stage iterates between a conventional NBP decoder and learned decimation, where we use a neural network to decide the decimation value for each bit. For a (128,64) LDPC code, the proposed NBP with decimation outperforms NBP decoding by 0.75 dB and performs within 1 dB from maximum-likelihood decoding at a block error rate of $10^{-4}$.

연구 동기 및 목표

• 흡수 집합으로 인한 잔류 오류 높은 성능 저하 문제를 해결함으로써, 짧은 LDPC 코드에 대한 신경망 신뢰 전파(NBP) 디코딩 성능을 향상시키는 것.
• 리스트 기반과 학습된 감소를 융합한 하이브리드 감소 전략을 통해 NBP와 최대우도(ML) 디코딩 간의 격차를 줄이는 것.
• 신경망을 사용하여 신뢰도가 높은 변수 노드를 선택해 디지털 결정을 내리는 학습 가능한 감소 메커니즘을 개발함으로써 수렴성과 오류 수정 능력을 향상시키는 것.
• 제안된 NBPD 디코더가 일반적인 NBP에 비해 복잡도 증가를 감수하면서도 거의 ML 성능에 도달할 수 있음을 입증하는 것.

제안 방법

• 이 방법은 이중 단계 감소 과정을 사용한다: 첫 번째 단계는 신뢰도가 가장 낮은 변수 노드에 대해 $+\infty$와 $-\infty$ 감소를 모두 탐색하여 후보 코드워드 목록을 생성하는 리스트 기반 단계이다.
• 두 번째 단계는 해당 변수 노드의 로그가능도비(LLR)를 바탕으로, 피드포워드 신경망을 사용해 최적의 부호를 감소시키는 방향을 예측하는 학습된 감소 단계이다.
• 신경망은 이산적인 감소 결정을 처리하기 위해 직선 추정기(steer-through estimator, STE)를 사용해 역전파로 학습되며, 두 개의 은닉층에 ReLU 활성화 함수를 사용하고 선형 출력층을 갖는다.
• 각 감소 단계 이후에는 $\ell_{\mathsf{max}}$ 반복 동안 전통적인 NBP 디코더를 실행하여, 디코딩과 감소 사이에 반복 루프를 형성한다.
• 디코더는 CCSDS 표준에서 유래한 (128,64) LDPC 코드에서 평가되었으며, 훈련에는 Adam 옵timizer, 배치 크기 128, 학습률 0.001을 사용하였다.
• 복잡도는 총 연산 수와 메모리 사용량으로 측정되며, NBPD 디코더의 복잡도는 감소 단계 수 $n_{\mathsf{D}}$에 따라 지수적으로 증가한다.

실험 결과

연구 질문

• RQ1 학습된 감소 전략이 짧은 LDPC 코드에 대해 신경망 신뢰 전파와 최대우도 디코딩 간의 성능 격차를 현저히 줄일 수 있는가?
• RQ2 리스트 기반 감소와 학습된 감소를 융합함으로써, 기존 NBP 또는 BP에 비해 수렴성과 오류 수정 능력이 어떻게 향상되는가?
• RQ3 학습된 감소 단계 수를 늘릴 경우 성능 향상과 계산 복잡도 증가 사이의 상충 관계는 어떠한가?
• RQ4 정확한 코드워드에 대한 사전 지식 없이도 신경망이 LLR 신뢰도 기반으로 최적의 변수 노드를 효과적으로 선택해 감소시킬 수 있는가?

주요 결과

• (128,64) LDPC 코드에서 NBPD는 4단계의 학습된 감소를 통해, 블록 오류율 $10^{-4}$ 시점에서 최대우도 디코딩과의 격차를 1 dB 이내로 줄였다.
• 제안된 NBPD 디코더는 50회 반복한 표준 NBP 디코딩 대비 0.75 dB 성능 향상을 달성하여 뚜렷한 성능 향상을 입증했다.
• 단일 학습된 감소 단계를 추가한 NBPD(10,4,1)는 NBP(50) 대비 0.3 dB 향상되었고, 네 단계를 적용한 경우 추가로 0.4 dB의 성능 향상을 기록했다.
• NBPD의 복잡도는 감소 단계 수에 따라 지수적으로 증가하며, NBPD(10,4,4)는 NBP(50) 대비 연산 수 기준으로 18.2배 더 복잡하다.
• 리스트 기반 감소 단계만을 사용한 경우(NBPD(10,4,0))는 복잡도가 5.4배 증가했지만, NBP(50) 대비 0.4 dB의 성능 향상 뿐이었으며, 이는 학습된 감소가 성능 향상에 필수적임을 시사한다.
• NBP와 BP의 성능은 50회 반복 시에 수렴함을 확인했으며, 이는 추가 반복이 오류율 향상에 기여하지 않음을 의미한다. 이는 ML에 가까운 성능을 달성하기 위해 감소와 같은 대안 전략이 필요함을 강조한다.