[논문 리뷰] Low-complexity Recurrent Neural Network-based Polar Decoder with Weight Quantization Mechanism

Chieh-Fang Teng, Chen-Hsi Derek Wu외 2명|arXiv (Cornell University)|2018. 10. 29.

Error Correcting Code Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 극적 코드 디코딩에서 메모리 및 계산 오버헤드를 줄이기 위해 코드북 기반 가중치 양자화 메커니즘을 갖춘 저복잡도 순환 신경망(RNN) 기반의 펄스 디코더를 제안한다. 학습된 코드북을 사용해 네트워크 가중치를 양자화함으로써, 성능 저하가 미미한 상태에서 98%의 메모리 감소를 달성하여, 5G NR 시스템에서 딥러닝 디코더의 효율적 구현을 가능하게 한다.

ABSTRACT

Polar codes have drawn much attention and been adopted in 5G New Radio (NR) due to their capacity-achieving performance. Recently, as the emerging deep learning (DL) technique has breakthrough achievements in many fields, neural network decoder was proposed to obtain faster convergence and better performance than belief propagation (BP) decoding. However, neural networks are memory-intensive and hinder the deployment of DL in communication systems. In this work, a low-complexity recurrent neural network (RNN) polar decoder with codebook-based weight quantization is proposed. Our test results show that we can effectively reduce the memory overhead by 98% and alleviate computational complexity with slight performance loss.

연구 동기 및 목표

• 실제 통신 시스템에서 딥러닝 기반의 펄스 디코더의 높은 메모리 및 계산 복잡도 문제를 해결하기 위해.
• 모델 크기와 복잡도를 줄여 신경망 디코더를 5G 뉴 라디오(NR)에 효율적으로 구현하기 위해.
• 디코딩 성능을 유지하면서 메모리 오버헤드를 최소화하는 가중치 양자화 기법을 탐색하기 위해.
• 펄스 코딩에 특화된 순환 신경망 디코더를 위한 코드북 기반의 양자화 메커니즘을 개발하기 위해.

제안 방법

• 순차적 처리를 활용해 수렴 성능를 향상시키기 위해 펄스 코드를 디코딩하기 위한 순환 신경망(RNN)을 설계한다.
• 네트워크 가중치의 정밀도를 낮춰 메모리 사용량을 최소화하기 위해 코드북 기반의 가중치 양자화 메커니즘을 도입한다.
• 코드북은 학습 과정에서 학습되며, 정밀도가 높은 가중치를 저비트 표현으로 매핑하는 데 사용된다.
• 블록 오류율 최소화를 위해 최적화된 손실 함수를 사용해 양자화된 RNN 디코더를 종단 간(end-to-end)으로 학습한다.
• 디코딩 연산에서 시간적 의존성을 활용하기 위해 RNN의 순환 구조를 유지한다.
• 동일한 디코딩 성능 목표 하에 전체 정밀도 모델과 양자화 모델을 비교하여 메모리 및 계산 복잡도를 평가한다.

실험 결과

연구 질문

• RQ1 저복잡도 RNN 기반 디코더는 메모리 사용량을 줄이면서도 극적 코드에 대해 근접한 용량 성능을 달성할 수 있는가?
• RQ2 코드북 기반 가중치 양자화가 성능 저하 없이 메모리 오버헤드를 최소화하는 데 얼마나 효과적인가?
• RQ3 양자화된 RNN 디코더에서 디코딩 복잡도, 메모리 사용량, 블록 오류율 간의 상호 상충 관계는 어떠한가?
• RQ4 제안된 양자화 메커니즘은 펄스 디코딩을 위한 순환 아키텍처에 효과적으로 통합될 수 있는가?

주요 결과

• 가중치 양자화를 적용한 제안된 RNN 기반 디코더는 전체 정밀도 모델 대비 98%의 메모리 오버헤드 감소를 달성한다.
• 양자화로 인한 성능 저하는 미미하며, 블록 오류율에 약간의 감소만을 초래한다.
• 빠른 수렴성과 경쟁 가능한 디코딩 성능를 유지하며, 신뢰성 기반 전파 성능에 가까워진다.
• 코드북 기반의 양자화 기법은 자원 제약이 있는 5G NR 시스템에서 딥러닝 디코더의 효율적 구현을 가능하게 한다.