[논문 리뷰] Scaling Deep Learning-based Decoding of Polar Codes via Partitioning

Sebastian Cammerer, Tobias Gruber외 2명|arXiv (Cornell University)|2017. 02. 22.

Error Correcting Code Techniques참고 문헌 14인용 수 16

한 줄 요약

이 논문은 극성 코드를 위한 분할 신경망 디코딩(PNN) 방법을 제안한다. 이 방법은 기존의 신뢰도 기반 전파(BP) 디코더의 부분 구성 요소를 훈련된 신경망으로 대체하여 확장 가능하고 반복하지 않으며 병렬 처리가 가능한 디코딩을 가능하게 한다. 하위 블록의 분할을 통해 훈련 복잡도를 제한함으로써, 특히 더 긴 블록 길이에서 지연 시간을 크게 줄이며, MAP 및 SCL 디코딩에 가까운 BER 성능을 달성한다.

ABSTRACT

The training complexity of deep learning-based channel decoders scales exponentially with the codebook size and therefore with the number of information bits. Thus, neural network decoding (NND) is currently only feasible for very short block lengths. In this work, we show that the conventional iterative decoding algorithm for polar codes can be enhanced when sub-blocks of the decoder are replaced by neural network (NN) based components. Thus, we partition the encoding graph into smaller sub-blocks and train them individually, closely approaching maximum a posteriori (MAP) performance per sub-block. These blocks are then connected via the remaining conventional belief propagation decoding stage(s). The resulting decoding algorithm is non-iterative and inherently enables a high-level of parallelization, while showing a competitive bit error rate (BER) performance. We examine the degradation through partitioning and compare the resulting decoder to state-of-the-art polar decoders such as successive cancellation list and belief propagation decoding.

연구 동기 및 목표

• 블록 길이에 따라 지수적으로 증가하는 훈련 복잡도로 인해 딥러닝 기반의 극성 코드 디코딩이 확장성에 한계를 가짐을 해결하기 위해.
• 전체 코드북 학습 대신 BP 디코더의 부분 구성 요소를 훈련된 신경망으로 대체하여 더 긴 극성 코드의 실용적 디코딩을 가능하게 하기 위해.
• 모듈식 하위 블록 처리를 통해 반복하지 않고 고도로 병렬화 가능한 디코딩 아키텍처를 구현하여 지연 시간을 줄이기 위해.
• 하위 블록 분할과 하위 블록 내에서의 최적화되지 않은 신경망 훈련으로 인한 성능 저하를 정량화하기 위해.
• 주요 성능 손실 원인이 분할 구조에 기인하며, 신경망 근사 오차가 아님을 입증함으로써未來의 더 나은 신경망 아키텍처로의 확장 가능성을 제시하기 위해.

제안 방법

• 극성 코드 인코딩 그래프가 더 작은 하위 블록으로 분할되며, 각 하위 블록은 독립적으로 훈련된 전용 신경망 디코더(NND)에 의해 처리되어 MAP 성능에 가까워지도록 한다.
• 하위 블록들은 기존의 신뢰도 기반 전파(BP) 단계를 통해 연결되어 전체 디코딩 구조를 유지하면서도 병렬 처리를 가능하게 한다.
• 반복 단계를 NND로 대체함으로써 비반복적 디코딩 아키텍처를 달성하여 동기화 단계와 지연 시간을 감소시킨다.
• 다양한 신호 대 잡음비(SNR) 수준에서 SCL 디코딩과의 성능 비교를 위해 정규화 오차(NE) 지표를 사용한다.
• 각 NND가 작은 하위 블록(예: 16비트)에 국한되도록 하여 전체 코드북 학습을 피하고 훈련 복잡도를 감소시킨다.
• NND의 일반화 능력 덕분에 미리 보지 않은 코드워드에 대해서도 추론이 가능하므로, 더 긴 코드에 대한 확장성이 보장된다.

실험 결과

연구 질문

• RQ1 전체 디코더가 아닌 부분 구성 요소를 대체함으로써 딥러닝 기반의 극성 코드 디코딩이 실용적인 블록 길이로 확장될 수 있는가?
• RQ2 작은 하위 블록으로 코드를 분할함으로써 신경망 디코딩에 도입된 성능 저하 정도는 어떠한가?
• RQ3 BER 및 지연 시간 측면에서 제안된 분할 신경망(PNN) 디코더가 SCL 및 BP와 같은 최첨단 디코더와 비교해 어떻게 성능을 내는가?
• RQ4 성능 저하의 주요 원인이 하위 블록 내 최적화되지 않은 신경망 훈련인지, 아니면 분할 아키텍처 자체인지 어느 정도인가?
• RQ5 제안된 방법이 낮은 지연 시간과 비반복적 디코딩을 실현하면서도 경쟁 가능한 BER 성능을 유지할 수 있는가?

주요 결과

• 제안된 PNN 디코더는 후속 취소 리스트(SCL) 및 신뢰도 기반 전파(BP) 디코딩과 유사한 BER 성능을 달성하며, 다양한 SNR 수준에서 정규화 오차(NE) 값이 1에 가까운 수준을 유지한다.
• 성능 저하의 주요 원인은 분할 구조(λ_part)이며, 최적화되지 않은 신경망 훈련(λ_NN)이 아니라는 것이 별도의 분석을 통해 입증되었다.
• 블록 길이 N=1024, 하위 블록 크기 16비트일 경우, 정규화 오차 NE_PNCL이 분할 수가 증가함에 따라 증가함을 보여주며, 확장성과 성능 사이의 상충 관계를 나타낸다.
• 지연 시간이 크게 감소함: PNN 디코더는 SCL의 O(N log N) 및 BP의 O(log N) 대비 O(N/N_P * N_H + N/N_P * log(N/N_P))의 동기화 단계를 필요로 한다.
• PNN 아키텍처는 한 번의 스텝만으로 비반복적 디코딩을 가능하게 하며, 고도로 병렬 처리가 가능하므로 GPU, FPGA 또는 ASIC에서의 하드웨어 구현에 적합하다.
• 향후 더 큰 하위 블록을 허용하는 개선된 신경망 아키텍처의 도입으로 확장성이 기대된다.