[논문 리뷰] DeepTurbo: Deep Turbo Decoder

Yihan Jiang, Hyeji Kim외 4명|arXiv (Cornell University)|2019. 03. 06.

Wireless Signal Modulation Classification참고 문헌 42인용 수 13

한 줄 요약

DeepTurbo는 BCJR 알고리즘에 대한 사전 지식이 필요하지 않은, 엔드 투 엔드로 훈련된 가속 가능한 신경 디코더를 제안하며, 표준 투르보 및 신경 BCJR 디코더보다 뛰어난 성능을 달성한다. 이는 BCJR에 영감을 받지 않은 새로운 아키텍처를 사용하며, 디코딩 반복 간에 공유 및 비공유 파라미터를 활용하여 오류 바닥을 낮추고, 비-AWGN 채널에서의 강건성과 더불어 낮은 디코딩 반복 수를 유지하면서도 높은 신뢰성과 적응성을 확보한다.

ABSTRACT

Present-day communication systems routinely use codes that approach the channel capacity when coupled with a computationally efficient decoder. However, the decoder is typically designed for the Gaussian noise channel and is known to be sub-optimal for non-Gaussian noise distribution. Deep learning methods offer a new approach for designing decoders that can be trained and tailored for arbitrary channel statistics. We focus on Turbo codes and propose DeepTurbo, a novel deep learning based architecture for Turbo decoding. The standard Turbo decoder (Turbo) iteratively applies the Bahl-Cocke-Jelinek-Raviv (BCJR) algorithm with an interleaver in the middle. A neural architecture for Turbo decoding termed (NeuralBCJR), was proposed recently. There, the key idea is to create a module that imitates the BCJR algorithm using supervised learning, and to use the interleaver architecture along with this module, which is then fine-tuned using end-to-end training. However, knowledge of the BCJR algorithm is required to design such an architecture, which also constrains the resulting learned decoder. Here we remedy this requirement and propose a fully end-to-end trained neural decoder - Deep Turbo Decoder (DeepTurbo). With novel learnable decoder structure and training methodology, DeepTurbo reveals superior performance under both AWGN and non-AWGN settings as compared to the other two decoders - Turbo and NeuralBCJR. Furthermore, among all the three, DeepTurbo exhibits the lowest error floor.

연구 동기 및 목표

• BCJR 알고리즘의 수학적 구조에 의존하지 않는 신경 투르보 디코더를 설계하여 더 큰 유연성과 성능을 확보하고자 한다.
• 디코딩 신뢰성, 비정규성 노이즈에 대한 강건성, 다양한 채널 조건에서의 적응성을 향상시키고자 한다.
• 특히 고신호대역비(SNR)에서 관찰되는 표준 투르보 디코더의 일반적인 오류 바닥을 낮추고자 한다.
• 낮은 디코딩 반복 수로도 높은 정확도를 달성하여 수렴 속도를 높이고자 한다.
• 재훈련 없이도 더 긴 블록 길이로 일반화할 수 있도록 탐색하고자 한다.

제안 방법

• BCJR 사전 훈련이나 아키텍처 모방이 필요 없는 완전히 엔드 투 엔드로 훈련된 신경 아키텍처를 제안한다.
• 디코딩 반복 간에 비공유 파라미터를 갖는 가속 가능한 디코더 구조를 활용하여 단계별로 특화된 디코딩 기능을 가능하게 한다.
• 후행 정보 차원 $ K $를 하이퍼파라미터로 사용하며, 속도와 성능를 고려해 $ K=5 $를 실험적으로 최적값으로 확인하였다.
• 레이블이 부여된 코드워드를 사용한 지도 학습을 통해 특정 블록 길이(예: $ L=100 $)에서 모델을 엔드 투 엔드로 훈련한다.
• 짧은 블록 길이에서 초기화하고 더 긴 블록 길이(예: $ L=1000 $)에서 미세조정하는 전이 학습 기법을 적용하여 일반화 성능을 향상시킨다.
• BCJR의 수학적 구조에 의존하지 않는 새로운 훈련 방법론을 도입하여 임의의 채널 통계에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 BCJR 알고리즘에 대한 사전 지식 없이도 엔드 투 엔드로 훈련된 신경 투르보 디코더가 뛰어난 성능을 달성할 수 있는가?
• RQ2 BCJR에 영감을 받지 않은 신경 아키텍처가 표준 투르보 및 신경 BCJR 디코더에 비해 오류 바닥을 낮출 수 있는가?
• RQ3 엔드 투 엔드로 훈련된 디코더인 DeepTurbo는 재훈련 없이도 더 긴 블록 길이로 일반화할 수 있는가?
• RQ4 T-분포 및 레이더 노이즈와 같은 비-AWGN 채널에서 DeepTurbo는 히우리스틱 및 BCJR 기반 방법에 비해 어떻게 성능을 내는가?
• RQ5 표준 투르보 디코더보다 더 적은 디코딩 반복 수로 DeepTurbo가 비교적 우수한 BER/BLER 성능을 달성할 수 있는가?

주요 결과

• DeepTurbo는 Turbo-757 및 Turbo-LTE 코드에서 모두 고신호대역비(SNR) 영역에서 표준 투르보 및 신경 BCJR 디코더를 능가하며, 더 낮은 오류 바닥을 보였다.
• SNR ≥ 0.5 dB일 경우, DeepTurbo는 BER과 BLER에서 신경 BCJR보다 우수한 성능을 보였으며, 이는 신경 BCJR가 AWGN에서 표준 투르보 성능을 재현한다는 점을 고려할 때 뚜렷한 우월성을 보였다.
• DeepTurbo의 중간층(i=2)만으로도 2회의 반복을 사용한 표준 투르보보다 더 뛰어난 성능를 달성하여 정보 추출 속도가 더 빠름을 시사한다.
• $ K=5 $일 때 후행 차원이 최적의 성능를 달성하며, $ K<10 $ 범위 내에서 수렴 속도가 빠르고 최적 성능를 확보한다.
• L=100에서 훈련된 DeepTurbo는 L=1000로 일반화할 때 성능이 열악한 편이지만, 미세조정 후 성능이 복귀함을 통해 더 긴 블록에서의 재훈련 필요성을 입증한다.
• 비-AWGN 채널(ATN 및 레이더)에서 DeepTurbo는 비공유 파라미터 덕분에 더 뛰어난 적응성을 확보하여 신경 BCJR를 크게 능가했다.