[논문 리뷰] Using Deep Neural Networks to Predict and Improve the Performance of Polar Codes

Mathieu Léonardon, Vincent Gripon|arXiv (Cornell University)|2021. 05. 11.

Error Correcting Code Techniques참고 문헌 17인용 수 6

한 줄 요약

이 논문은 극성 코드의 동결 비트 시퀀스를 기반으로 프레임 오류율(FER)을 예측하는 딥 뉴럴 네트워크를 학습시키는 딥 러닝 프레임워크를 제안한다. 학습된 네트워크의 기울기 위에 기반한 투영된 경사 하강법을 사용하여, 훈련 데이터보다 더 낮은 FER를 달성하는 최적화된 동결 비트 시퀀스를 생성함으로써, 훈련 데이터에 포함되지 않은 코드 구조에 대해서도 뛰어난 성능을 보여준다.

ABSTRACT

Polar codes can theoretically achieve very competitive Frame Error Rates. In practice, their performance may depend on the chosen decoding procedure, as well as other parameters of the communication system they are deployed upon. As a consequence, designing efficient polar codes for a specific context can quickly become challenging. In this paper, we introduce a methodology that consists in training deep neural networks to predict the frame error rate of polar codes based on their frozen bit construction sequence. We introduce an algorithm based on Projected Gradient Descent that leverages the gradient of the neural network function to generate promising frozen bit sequences. We showcase on generated datasets the ability of the proposed methodology to produce codes more efficient than those used to train the neural networks, even when the latter are selected among the most efficient ones.

연구 동기 및 목표

• 극성 코드의 동결 비트 시퀀스로부터 프레임 오류율(FER)을 예측하는 기계학습 기반 접근법을 개발한다.
• SCL과 같은 실질적 디코딩 환경에서 최적화되지 않는 수학적 근사치에 의존하는 전통적 극성 코드 설계 방법의 한계를 극복한다.
• 신경망 기울기를 활용하여 개선된 동결 비트 시퀀스를 생성함으로써, 훈련 세트보다 낮은 FER를 가지는 코드를 발견할 수 있도록 한다.
• 몽테카를로 시뮬레이션을 통해 SCL 디코딩 조건에서 소형 및 대형 극성 코드에 대해 방법을 검증한다.

제안 방법

• 가우스 근사와 밀도 전파를 통해 생성된 동결 비트 시퀀스와 그에 대응하는 FER 데이터셋을 기반으로 딥 뉴럴 네트워크를 학습시킨다.
• 학습된 신경망을 사용하여 어떤 동결 비트 시퀀스의 FER를 예측함으로써, 전체 시뮬레이션 없이도 엔드 투 엔드 성능 추정이 가능하다.
• 예측된 FER를 최소화하도록 동결 비트 시퀀스를 최적화하기 위해 투영된 경사 하강법을 적용하며, 네트워크를 진짜 FER에 대한 미분 가능한 대체 모델로 간주한다.
• 예측된 FER에 대한 시퀀스의 기울기를 사용하여 반복적으로 입력을 업데이트함으로써 새로운 후보 동결 비트 시퀀스를 생성한다.
• 소형(256,128) 및 대형(1024,512) 코드에서 최적 성능을 얻기 위해 네트워크 깊이(L), 너비(H), 기울기 단계 크기(µ) 등의 하이퍼파라미터를 고정한다.
• 가장 성능이 뛰어난 코드들을 확인하기 위해 AFF3CT 툴박스를 사용한 몽테카를로 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 동결 비트 시퀀스만을 기반으로 하여 극성 코드의 프레임 오류율을 정확하게 예측할 수 있는가?
• RQ2 신경망의 입력에 기반한 기울기 기반 최적화가 훈련 데이터의 FER를 초월하는 동결 비트 시퀀스를 생성할 수 있는가?
• RQ3 제안된 방법이 가우스 근사나 밀도 전파와 같은 표준 방법으로 구성된 코드보다 낮은 FER를 가지는 코드를 발견할 수 있는가?
• RQ4 특히 SCL 디코딩 조건에서, 이 방법은 다양한 코드 길이와 디코딩 조건에 대해 얼마나 강건한가?
• RQ5 드롭아웃, 배치 정규화, 믹업과 같은 표준 딥 러닝 정규화 기법들이 FER 예측기의 일반화 능력이나 예측 정확도를 향상시키는가?

주요 결과

• 학습된 신경망은 (1024,512) 코드에 대해 평균 오차 증폭(IOC)이 1.06, (256,128) 코드에 대해 1.02를 기록하여, 미지의 데이터에 대해 매우 높은 예측 신뢰도를 보였다.
• 제안된 방법은 (1024,512) 코드에 대해 FER가 1.01e-5에 이르는 동결 비트 시퀀스를 생성하여, 훈련 세트의 최소 FER(5.75e-5)보다 크게 향상시켰다.
• (256,128) 코드의 경우 경쟁력 있는 후보를 생성했지만, 코드 크기가 작고 훈련 세트에 최적화된 시퀀스의 밀도가 높기 때문에, 최고의 훈련 예제를 크게 뛰어넘지는 못했다.
• 드롭아웃, 배치 정규화, 믹업과 같은 표준 딥 러닝 기법들은 IOC 향상에 기여하지 않았으며, 이는 동결 비트 시퀀스의 이산적이고 조합적 성격 때문일 것이다.
• 이 방법은 훈련 세트에 매우 최적화된 시퀀스가 포함되어 있음에도 불구하고, 신경망 입력에 대한 기울기 기반 최적화를 통해 훈련 데이터보다 성능이 뛰어난 코드를 도출할 수 있음을 보여주었다.
• 소스 코드와 데이터셋은 재현성 및 향후 연구를 위해 https://github.com/brain-bzh/PolarCodesDNN 에 공개되었다.