[논문 리뷰] Turbo Autoencoder: Deep learning based channel codes for point-to-point communication channels

Yihan Jiang, Hyeji Kim외 4명|arXiv (Cornell University)|2019. 11. 08.

Wireless Signal Modulation Classification인용 수 84

한 줄 요약

TurboAE는 엔드-투-엔드 학습 가능한 인코더–디코더 시스템으로, 보통 길이의 블록에서 AWGN 채널에 대해 거의 최첨단 신뢰도에 도달하고 비정형 채널에서 전통 코드보다 우수하다.

ABSTRACT

Designing codes that combat the noise in a communication medium has remained a significant area of research in information theory as well as wireless communications. Asymptotically optimal channel codes have been developed by mathematicians for communicating under canonical models after over 60 years of research. On the other hand, in many non-canonical channel settings, optimal codes do not exist and the codes designed for canonical models are adapted via heuristics to these channels and are thus not guaranteed to be optimal. In this work, we make significant progress on this problem by designing a fully end-to-end jointly trained neural encoder and decoder, namely, Turbo Autoencoder (TurboAE), with the following contributions: ($a$) under moderate block lengths, TurboAE approaches state-of-the-art performance under canonical channels; ($b$) moreover, TurboAE outperforms the state-of-the-art codes under non-canonical settings in terms of reliability. TurboAE shows that the development of channel coding design can be automated via deep learning, with near-optimal performance.

연구 동기 및 목표

• 채널 코딩을 개선하기 위해 handcrafted 코드가 아닌 엔드-투-엔드 딥 러닝을 활용하는 것을 동기 부여합니다.
• 터보 인스파이어된 인터리빙과 반복 디코딩을 갖춘 신경망 인코더 및 디코더를 설계합니다.
• moderate block lengths에서 AWGN에 대해 용량에 근접하는 코드에 대한 TurboAE의 성능을 보여줍니다.
• handcrafted 코드가 어려움을 겪는 비 AWGN 채널에서 TurboAE의 이점을 보여줍니다.

제안 방법

• 인터리브된 CNN 기반 인코더와 터보 코드에서 영감을 받은 반복 CNN 기반 디코더를 갖춘 TurboAE를 제안합니다.
• 긴 범위 기억을 코드에 생성하기 위해 인터리버와 디인터리버를 사용합니다.
• 교대 최적화와 신중하게 선택된 학습 SNR로 엔코더와 디코더를 엔드-투-엔드로 학습합니다.
• 정규화와 이진 경우를 위한 STE를 포함한 TurboAE-continuous(소프트 파워 제약) 및 TurboAE-binary(하드 파워 제약) 변형을 도입합니다.
• 훈련 안정을 위한 파워 제약 코딩 블록과 배치 정규화와 같은 전략을 적용합니다.

실험 결과

연구 질문

• RQ1 중간 블록 길이에서 AWGN 채널에 대해 엔드-투-엔드로 학습된 신경 인코더/디코더가 최첨단 채널 코드에 근접하거나 이를 능가할 수 있습니까?
• RQ2 인터리빙과 반복 디코딩을 가진 신경 코드가 비정형 채널 모델에서 CNN-AE 및 전통 코드보다 성능이 우수합니까?
• RQ3 TurboAE 최적화를 안정적으로 달성하기 위한 훈련 전략(교대 학습, 배치 크기, 노이즈 수준)은 무엇입니까?
• RQ4 소프트 파워 제약과 하드 파워 제약은 성능과 학습 역학에 어떤 차이를 만듭니까?
• RQ5 채널 모델이 IID 가우시안 잡음에서 벗어날 때 TurboAE가 이점을 제공할 수 있습니까?

주요 결과

• TurboAE는 중간 블록 길이(K ~ 100)에서 정형 AWGN 채널에 대해 최첨단 성능에 접근합니다.
• TurboAE는 비정형 채널에서 미세 조정 후 신뢰도 측면에서 최첨단 코드보다 우수한 성능을 보입니다.
• 인터리빙은 CNN-AE 및 비인터리브된 변형에 비해 블록 길이 이득과 BER 성능을 크게 향상시킵니다.
• TurboAE-continuous와 TurboAE-binary는 서로 다른 파워 제약 규정을 가진 경쟁력 있는 성능을 제공합니다. 다만 이진 경우 안정성을 위해 사전 학습이 필요합니다.
• CNN 기반의 TurboAE 설계가 RNN 기반 접근법보다 더 빠르고 안정적으로 학습되며, 코드의 확장 가능한 학습을 가능하게 합니다.