[논문 리뷰] TurboNet: A Model-driven DNN Decoder Based on Max-Log-MAP Algorithm for Turbo Code

Yunfeng He, Jing Zhang외 2명|arXiv (Cornell University)|2019. 05. 25.

Wireless Signal Modulation Classification참고 문헌 12인용 수 4

한 줄 요약

TurboNet는 반복적인 max-log-MAP 알고리즘을 전개하고 구성 요소를 학습 가능한 가중치로 파arameter화함으로써 모델 기반의 딥 뉴럴 네트워크(DNN) 디코더를 제안한다. 재정의된 손실 함수로 훈련된 TurboNet는 더 적은 파라미터 수와 낮은 계산 복잡도로 기존의 max-log-MAP 디코딩보다 뛰어난 비트 오류율(BER) 성능을 달성하며, 다양한 신호 대 잡음비(SNR) 조건에서 잘 일반화된다.

ABSTRACT

This paper presents TurboNet, a novel model-driven deep learning (DL) architecture for turbo decoding that combines DL with the traditional max-log-maximum a posteriori (MAP) algorithm. To design TurboNet, we unfold the original iterative structure for turbo decoding and replace each iteration by a deep neural network (DNN) decoding unit. In particular, the DNN decoding unit is obtained by parameterizing the max-log-MAP algorithm rather than replace the whole decoder with a black box fully connected DNN architecture. With the proposed architecture, the parameters can be efficiently learned from training data, and thus TurboNet learns to appropriately use systematic and parity information to offer higher error correction capabilities and decrease computational complexity compared with existing methods. Furthermore, simulation results prove TurboNet's superiority in signal-to-noise ratio generalizations.

연구 동기 및 목표

• 데이터 기반 딥 러닝 디코더의 한계를 해결하기 위해, 검정 상자 아키텍처로 인해 높은 파라미터 수와 낮은 해석 가능성 문제를 야기하는 것.
• 긴 블록 길이의 터보 코드를 위한 완전 연결 DNN의 훈련에서 발생하는 계산 비효율성과 고차원성 문제를 극복하기 위해.
• max-log-MAP 알고리즘의 도메인 전문 지식을 통합하여 디코딩 성능과 일반화 능력을 향상시키는 모델 기반 DNN 아키텍처를 개발하기 위해.
• 기존의 RNN 기반 또는 완전 연결 DNN 디코더보다 파라미터 수와 계산 복잡도를 줄이면서도 오류 수정 능력은 유지하거나 향상시키기 위해.

제안 방법

• 터보 디코더의 반복적 구조를 각 반복 단계별로 독립적인 DNN 디코딩 유닛으로 전개한다.
• 자코비안 로그-합-지배 근사에서 로그 연산을 위한 학습 가능한 가중치를 도입하여 max-log-MAP 알고리즘을 파라미터화한다.
• 기존의 max-log-MAP 계산을 대체하기 위해, LLR 업데이트에 대한 최적의 스케일링 및 보정 인자들을 학습하는 미분 가능한 DNN 레이어를 도입한다.
• 고정된 반복 수를 가진 log-MAP 알고리즘으로부터 생성된 예측된 LLR와 목표 LLR 간의 차이를 직접 최소화하는 재정의된 손실 함수를 설계한다.
• 배치 크기 500, 학습률 1e-5로 확률적 경사 하강법(SGD) 및 ADAM 옵티마이저를 사용하여 네트워크를 훈련시킨다.
• 학습의 안정성과 일반화 능력의 균형을 위해, 단일 훈련 SNR(0 dB)와 목표 반복 수(T=6)를 사용하여 log-MAP LLR를 생성한다.

실험 결과

연구 질문

• RQ1 max-log-MAP 알고리즘을 파라미터화한 모델 기반 DNN 아키텍처가 터보 코드의 BER 성능에서 기존의 max-log-MAP 디코딩을 능가할 수 있는가?
• RQ2 단일 SNR에서 훈련되었음에도 불구하고, 다양한 SNR 값에서 제안된 TurboNet 디코더가 잘 일반화되는가?
• RQ3 TurboNet가 기존의 데이터 기반 RNN 또는 완전 연결 DNN 디코더보다 더 낮은 계산 복잡도와 더 적은 파라미터를 갖는가? 동시에 성능은 유지하거나 향상시키는가?
• RQ4 디코딩 유닛의 수와 훈련 SNR 및 목표 반복 수의 선택이 DNN 디코더의 일반화 능력과 오류 수정 능력에 어떤 영향을 미치는가?

주요 결과

• (40,132) 및 (40,92) 터보 코드 모두에서, TurboNet는 모든 SNR 범위에서 기존의 max-log-MAP 알고리즘(5회 반복)보다 더 낮은 비트 오류율(BER)을 달성한다.
• (40,132) 코드의 경우, TurboNet는 5회 반복 max-log-MAP보다 우수한 성능을 보이며, 3회 반복 log-MAP와 동등한 성능을 달성한다.
• (40,92) 패리티가 적용된 코드의 경우, TurboNet는 3회 반복 max-log-MAP보다 뛰어난 성능을 보이며, 3회 반복 log-MAP와 유사한 BER 성능을 달성한다.
• TurboNet는 다양한 SNR 값에서 잘 일반화되며, 훈련 SNR(0 dB)와 다른 SNR에서 테스트해도 뛰어난 성능을 유지한다.
• 디코더는 단지 17.8K개의 파라미터를 가지며, [3]에서 제시한 신경망 BCJR 디코더의 385만 개 파라미터보다 크게 줄어들었고, 추론 시간도 더 빠르다(1.39e-4s 대비 5.89e-3s).
• TurboNet는 5회 반복 max-log-MAP보다 계산 지연을 줄였으며, 디코딩 완료 시간을 1.39e-4s로 단축시켰다(5회 반복 max-log-MAP의 2.3e-4s 대비).