[논문 리뷰] KO codes: Inventing Nonlinear Encoding and Decoding for Reliable Wireless Communication via Deep-learning

Ashok Vardhan Makkuva, Xiyang Liu외 4명|arXiv (Cornell University)|2021. 08. 29.

Error Correcting Code Techniques인용 수 15

한 줄 요약

이 논문은 추가 백색 가우시안 노이즈(AWGN) 채널에서 짧고 중간 길이 블록 길이 범위에서 최신의 선형 코드인 폴라르 및 리드-멀러 코드를 능가하는 새로운 비선형 딥러닝 기반 인코더-디코더 쌍인 KO 코드를 소개한다. 고전적 코드에서 사용하는 선형 크로네커 연산을 비선형이며 학습 가능한 신경망 아키텍처로 대체함으로써, Plotkin 트리 구조를 영감으로 삼은 KO 코드는 순차 취소 프레임워크를 통해 저지연, GPU 병렬 처리가 가능한 디코딩을 유지하면서도 더 낮은 비트 오류율(BER) 성능을 달성한다.

ABSTRACT

Landmark codes underpin reliable physical layer communication, e.g., Reed-Muller, BCH, Convolution, Turbo, LDPC and Polar codes: each is a linear code and represents a mathematical breakthrough. The impact on humanity is huge: each of these codes has been used in global wireless communication standards (satellite, WiFi, cellular). Reliability of communication over the classical additive white Gaussian noise (AWGN) channel enables benchmarking and ranking of the different codes. In this paper, we construct KO codes, a computationaly efficient family of deep-learning driven (encoder, decoder) pairs that outperform the state-of-the-art reliability performance on the standardized AWGN channel. KO codes beat state-of-the-art Reed-Muller and Polar codes, under the low-complexity successive cancellation decoding, in the challenging short-to-medium block length regime on the AWGN channel. We show that the gains of KO codes are primarily due to the nonlinear mapping of information bits directly to transmit real symbols (bypassing modulation) and yet possess an efficient, high performance decoder. The key technical innovation that renders this possible is design of a novel family of neural architectures inspired by the computation tree of the {\\bf K}ronecker {\\bf O}peration (KO) central to Reed-Muller and Polar codes. These architectures pave way for the discovery of a much richer class of hitherto unexplored nonlinear algebraic structures. The code is available at \\href{https://github.com/deepcomm/KOcodes}{https://github.com/deepcomm/KOcodes}

연구 동기 및 목표

• AWGN 채널에서 짧고 중간 길이 블록 길이 범위에서 신뢰성이 높고 계산 효율적인 비선형 코드의 새로운 가족을 개발함으로써 고전적 선형 코드를 능가하고자 한다.
• 리드-멀러, 폴라르 등의 대수적 코드와 무작위 유사 코드 사이의 격차를 메우기 위해 크로네커 연산의 학습 가능한 비선형 일반화를 도입하고자 한다.
• 딥러닝을 활용해 인코더-디코더 쌍을 종단 간(end-to-end)으로 훈련함으로써, 이전 연구에서 알려진 선형 코드의 디코딩에만 집중했던 한계를 극복하고자 한다.
• 고전적 코드의 계산 트리 기반 신경망 아키텍처를 통해 코딩 이론에서 새로운 비선형 대수적 구조를 발견하고자 한다.
• 기존 변조 방식을 건너뛰고 정보 비트에서 직접 실수값 기반 신호로의 비선형 매핑이 효율적인 디코딩을 가능하게 하면서도 더 뛰어난 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• 이 방법은 리드-멀러 및 폴라르 코드에서 사용하는 재귀적 크로네커 곱의 계산 트리 표현인 Plotkin 트리 스켈레톤을 기반으로 한 신경망 아키텍처를 사용한다.
• 인코더는 선형 생성 행렬을 학습 가능한 비선형 변환으로 대체하며, 이는 정보 비트에서 직접 전송 기호로의 매핑을 가능하게 한다.
• 디코더는 학습 가능한 매개변수를 가진 매칭 Plotkin 트리로 구성되며, AWGN 채널 샘플을 기반으로 비트 오류율(BER)을 최소화하도록 종단 간(end-to-end)으로 훈련된다.
• 각 레이어에서 두 개의 행렬 곱셈과 하나의 활성화 함수를 사용함으로써, 전체 GPU 병렬 처리가 가능하고 Dumer의 순차 취소(SC) 디코더와 유사한 저지연 디코딩이 가능해진다.
• 훈련 과정은 무제한의 AWGN 채널 샘플을 활용하며, 역전파를 통해 BER을 최소화함으로써 선형 대수의 제약을 받지 않는 비선형 코드 구조를 모델이 자율적으로 발견할 수 있다.
• 100배 적은 매개변수를 가진 압축 버전인 TinyKO가 도입되었으며, 이는 전체 KO 모델과 거의 동일한 성능을 달성함으로써 확장성과 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 인코더-디코더 쌍이 AWGN 채널에서 짧고 중간 길이 블록 길이 범위에서 폴라르 및 리드-멀러와 같은 고전적 선형 코드를 능가하도록 훈련시킬 수 있는가?
• RQ2 정보 비트에서 직접 실수값 기반 신호로의 비선형 매핑(기존 변조 방식을 생략함)이 유사한 디코딩 복잡도를 가진 선형 코드보다 더 높은 신뢰성을 달성할 수 있는가?
• RQ3 고전적 코드의 재귀적 크로네커 구조를 신경망을 통해 일반화하여 새로운 고성능 비선형 코드 가족을 발견할 수 있는가?
• RQ4 Plotkin 트리 스켈레톤 기반의 신경망 아키텍처가 대수적 코드의 분석적 안정성과 가우스 코드의 무작위 유사 성능을 결합한 코드 구조를 어느 정도 발견할 수 있는가?
• RQ5 경량 압축 신경망 아키텍처(TinyKO)는 더 큰 모델과 거의 동일한 성능을 유지하면서도 저지연, GPU 병렬 처리가 가능한 디코딩을 유지할 수 있는가?

주요 결과

• KO 코드는 짧고 중간 길이 블록 길이 범위에서 모든 신호 대 잡음비(SNR) 수준에서 순차 취소 디코딩을 사용할 경우, 최신의 폴라르 및 리드-멀러 코드보다 유의미하게 낮은 비트 오류율(BER)을 달성한다.
• -5 dB의 신호 대 잡음비에서 KO(8,2)는 BER 1.46003e-3을 기록하며, 기준선인 폴라르 및 리드-멀러 코드의 BER 2.18083e-3 및 1.46003e-3을 모두 능가한다. 후자는 KO와 동일한 값을 기록한다.
• 매개변수 수가 100배 적은 압축형 버전인 TinyKO는 전체 KO 모델과 거의 동일한 BER 성능을 달성하며, 이는 높은 효율성과 확장성을 입증한다.
• KO 코드의 성능 향상 요인은 주로 정보 비트에서 전송 기호로의 비선형 매핑에 기인하며, 이는 더 나은 쌍별 거리 프로파일과 향상된 평균 경우 신뢰성 향상을 가능하게 한다.
• 디코더의 시간 복잡도와 지연은 Dumer의 순차 취소 디코더와 유사하여 GPU 가속 시스템에서 실시간 구현이 가능하다.
• 이 방법은 전통적인 대수적 또는 그래프 기반 코드 가족 외부의 새로운 비선형 코드 가족을 성공적으로 발견하였으며, 코딩 이론의 새로운 영역을 열었다.