[논문 리뷰] MIST: A Novel Training Strategy for Low-latency Scalable Neural Net Decoders

Kumar Yashashwi, Deepak Anand외 3명|arXiv (Cornell University)|2019. 05. 22.

Wireless Signal Modulation Classification참고 문헌 3인용 수 6

한 줄 요약

이 논문은 복소수 신호 간섭을 고려한 새로운 학습 전략인 MIST를 제안한다. 이 전략을 통해 컨volutional 신경망(CNN) 디코더가 복소수 및 LDPC 코드를 디코딩할 수 있으며, 기존 RNN 기반 디코더보다 8배 이상 빠른 디코딩 속도를 기록하면서도 최신 기술 수준의 비트 오류율 및 블록 오류율 성능을 달성한다. 혼합 신호 대 잡음비(SNR) 독립 샘플링 기반으로 전체 코드워드의 1%만을 사용해 학습함으로써, 채널 장애가 발생하는 상황에서도 저지연, 높은 내성성의 디코딩이 가능하며, 가정이 맞지 않는 조건에서 최적의 디코더를 초월한다.

ABSTRACT

In this paper, we propose a low latency, robust and scalable neural net based decoder for convolutional and low-density parity-check (LPDC) coding schemes. The proposed decoders are demonstrated to have bit error rate (BER) and block error rate (BLER) performances at par with the state-of-the-art neural net based decoders while achieving more than 8 times higher decoding speed. The enhanced decoding speed is due to the use of convolutional neural network (CNN) as opposed to recurrent neural network (RNN) used in the best known neural net based decoders. This contradicts existing doctrine that only RNN based decoders can provide a performance close to the optimal ones. The key ingredient to our approach is a novel Mixed-SNR Independent Samples based Training (MIST), which allows for training of CNN with only 1\% of possible datawords, even for block length as high as 1000. The proposed decoder is robust as, once trained, the same decoder can be used for a wide range of SNR values. Finally, in the presence of channel outages, the proposed decoders outperform the best known decoders, {\it viz.} unquantized Viterbi decoder for convolutional code, and belief propagation for LDPC. This gives the CNN decoder a significant advantage in 5G millimeter wave systems, where channel outages are prevalent.

연구 동기 및 목표

• 최신 기술 수준의 RNN 기반 디코더와 동등하거나 이를 초월하는 성능을 내는 저지연, 확장 가능한 신경망 디코더를 개발하는 것.
• 기존의 신경망 디코딩에서 오직 RNN만이 근접 최적 성능를 달성할 수 있다는 믿음을 뛰어넘어, 새로운 학습 전략을 통해 CNN가 유사한 성능를 달성할 수 있음을 입증하는 것.
• 5G mmWave 시스템에서 흔한 랜덤 채널 장애와 같은 동적 채널 조건에서도 강건한 디코딩을 가능하게 하는 것.
• 신경망 디코더 학습에 필요한 데이터 양을 극적으로 줄이는 것—최대 블록 길이 1000까지의 경우 전체 코드북의 1% 이하로도 효과적인 학습이 가능함을 보여주는 것.

제안 방법

• 다양한 신호 대 잡음비(SNR) 수준에서 독립적으로 코드워드를 샘플링하는 혼합-SNR 독립 샘플링 기반 학습(MIST) 전략을 도입하여 일반화 능력을 향상시키고 데이터 의존도를 감소시킴.
• 디코더로 1D 컨volutional 신경망(CNN) 아키텍처를 사용하여 순환 신경망(RNN)을 대체함으로써 병렬 계산이 가능하고 디코딩 지연을 낮춤.
• MIST를 사용해 전체 코드북의 최소 1%에 해당하는 다양한 코드워드 서브셋을 기반으로 CNN 디코더를 학습함으로써, RNN 기반 디코더가 전체 코드북의 90%를 학습한 경우와 동등한 성능를 확보함.
• 동일한 학습된 CNN 아키텍처를 복소수 코드와 LDPC 코드 양쪽에 모두 적용하여, 서로 다른 코드 유형 간의 이식성(transferability)을 입증함.
• 랜덤 채널 장애 상황을 시뮬레이션하여 SNR가 확률 α로 -10 dB로 떨어지는 조건을 설정함으로써 내성성 평가를 수행함.
• 복소수 코드의 경우 하드 및 비양자화된 비터비 디코더와, LDPC 코드의 경우 비트 뒤집기 디코더 및 신뢰도 전파 디코더를 대조하여 장애 조건 하에서의 성능를 평가함.

실험 결과

연구 질문

• RQ1 기존의 RNN만이 근접 최적 성능를 달성할 수 있다는 믿음이 있었지만, 복소수 및 LDPC 코드에 대해 CNN 기반 디코더가 최신 기술 수준의 RNN 기반 디코더와 유사한 성능를 달성할 수 있는가?
• RQ2 전체 코드북의 1% 미만으로도 효과적인 학습이 가능하면서도 높은 성능를 유지할 수 있는 학습 전략을 설계할 수 있는가?
• RQ3 MIST로 학습된 CNN 디코더는 채널 장애 또는 가정이 맞지 않는 조건에서 기존의 최적 디코더보다 뛰어난 내성성을 보일 수 있는가?
• RQ4 MIST로 학습된 동일한 신경망 아키텍처를 재학습 없이도 복소수 코드와 LDPC 코드 양쪽에 효과적으로 적용할 수 있는가?

주요 결과

• MIST로 학습된 CNN 디코더는 전체 코드워드의 1%만을 사용해도 기존 최고의 RNN 기반 디코더와 동등한 비트 오류율(BER) 및 블록 오류율(BLER) 성능를 기록함—기존에 일반적으로 요구되던 90%보다 극적으로 데이터 요구량을 감소시킴.
• CNN의 고유한 병렬 처리 능력 덕분에 RNN 기반 디코더보다 8배 이상 빠른 디코딩 속도를 기록함—저지연 응용 분야에 적합함.
• 랜덤 채널 장애 상황(확률 α로 SNR가 -10 dB로 떨어짐)에서, 비터비 디코더(고정 채널에서 최적)와 신뢰도 전파 디코더를 모두 초월함—특히 α = 0.5와 같은 높은 장애 확률에서 두드러진 성능 향상.
• LDPC 코드의 경우, 비트 뒤집기 디코더를 초월하고, 신뢰도 전파 성능와 동등하거나 이를 초월함—다이나믹 환경에서의 강건성을 입증함.
• 동일한 학습된 CNN 아키텍처가 복소수 코드와 LDPC 코드 양쪽 모두를 성공적으로 디코딩함—이를 통해 방법의 확장성과 다양한 코드 유형 간 일반화 능력이 입증됨.
• 오랜 기간 동안 널리 공인된 가정인 '오직 RNN만이 신경망 디코딩에서 근접 최적 성능를 달성할 수 있다'는 믿음을 뛰어넘어, MIST를 적용한 CNN가 실질적이고 다이나믹한 채널 조건에서 동등하거나 더 뛰어난 성능를 달성함을 입증함.