[논문 리뷰] Deep Learning-Aided Trainable Projected Gradient Decoding for LDPC Codes

Tadashi Wadayama, Satoshi Takabe|arXiv (Cornell University)|2019. 01. 15.

Error Correcting Code Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 깊이 학습을 활용하여 스텝 사이즈, 소프트니스, 벌점 계수와 같은 내부 파rameter를 최적화하는 훈련 가능한 프로젝션 기반 경사 하강(Trainable Projected Gradient, TPG) 디코딩 알고리즘을 제안한다. 디코딩 과정을 미분 가능하고 다층 구조로 전개함으로써, 역전파와 확률적 경사 하강법을 통한 엔드 투 엔드 훈련이 가능해지며, 길이가 짧은 LDPC 코드(n=204)에서 BER = 10⁻⁵일 때 기존의 믿음 전파(Belief Propagation, BP) 대비 최대 0.5 dB의 SNR 향상을 달성한다.

ABSTRACT

We present a novel optimization-based decoding algorithm for LDPC codes that is suitable for hardware architectures specialized to feed-forward neural networks. The algorithm is based on the projected gradient descent algorithm with a penalty function for solving a non-convex minimization problem. The proposed algorithm has several internal parameters such as step size parameters, a softness parameter, and the penalty coefficients. We use a standard tool set of deep learning, i.e., back propagation and stochastic gradient descent (SGD) type algorithms, to optimize these parameters. Several numerical experiments show that the proposed algorithm outperforms the belief propagation decoding in some cases.

연구 동기 및 목표

• 저지연 M2M 및 5G 응용 분야에서 믿음 전파보다 우수한 성능을 보이는 짧은 길이의 LDPC 코드를 위한 디코딩 알고리즘을 개발한다.
• 피드포워드 신경망 전용 하드웨어와 호환되는 디코딩 방법을 설계하여, 행렬-벡터 연산과 비선형 투영에서의 대량 병렬 처리를 활용한다.
• 역전파와 확률적 경사 하강법과 같은 딥 러닝 기법을 사용하여 비볼록 디코딩 파rameter(스텝 사이즈, 소프트니스, 벌점)를 최적화한다.
• 다양한 초기화를 사용한 다중 디코딩 시도(재시작)가 표준 믿음 전파를 초월한 성능 향상을 이끌 수 있음을 입증한다.

제안 방법

• 패리티 체크 제약 조건을 강제하는 페널티 함수를 사용하여 LDPC 디코딩을 비볼록 최적화 문제로 재정의한다.
• 이중 단계 반복 프로세스를 적용한다: 목적 함수에 대한 경사 하강법과 [0,1]^n 내의 이진 입자 상자에 대한 소프트 투영.
• 디코딩 과정을 다층 신호 흐름 그래프로 전개하여 딥 네트워크와 유사한 구조를 형성함으로써, 미분 가능한 훈련이 가능하도록 한다.
• 스텝 사이즈, 소프트니스, 벌점 계수와 같은 내부 파rameter는 레이블이 부여된 훈련 데이터를 사용하여 역전파와 확률적 경사 하강법을 통해 최적화된다.
• 소프트 투영 연산자는 실수 값을 [0,1]로 매핑하기 위해 시그모이드 유사 함수를 사용하며, 이 소프트니스는 훈련 가능한 파rameter로 제어된다.
• 다양한 해를 탐색하고 오류 수정 성능을 향상시키기 위해, 다중 무작위 초기화를 사용한 재시작 전략을 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 최적화 기반 디코딩 알고리즘이 짧은 길이의 LDPC 코드에서 믿음 전파를 능가할 수 있는가?
• RQ2 프로젝션 기반 경사 하강 알고리즘의 내부 파arameter가 역전파와 확률적 경사 하강법을 통해 효과적으로 조정될 수 있는가?
• RQ3 무작위 초기화와 다중 디코딩 시도(재시작)의 조합이 비볼록 최적화에서 성능 향상에 뚜렷한 기여를 하는가?
• RQ4 이 디코딩 알고리즘이 피드포워드 신경망 전용 하드웨어에 효율적으로 매핑될 수 있는가?

주요 결과

• (3,6)-정규 LDPC 코드(n=204)에서 TPG 디코딩이 r_max=100일 때 BER=10⁻⁵에서 믿음 전파 대비 0.5 dB의 SNR 향상을 달성한다.
• r_max=10인 TPG 디코더는 동일한 BER 수준에서 믿음 전파 대비 0.2 dB의 향상을 보이며, 재시작 전략의 효과를 입증한다.
• 정규화된 제곱 오차는 5~15회 반복 이내에 약 10⁻⁴ 수준으로 수렴하여 전송된 코드워드에 효과적으로 수렴하는 것으로 나타났다.
• n=504일 경우에도 TPG 디코더는 고SNR 영역에서 믿음 전파를 능가하며, 확장성의 가능성을 확인한다.
• SNR=3.75 dB일 때, 모든 r_max 값에서 평균 반복 수는 약 30회로 나타나 조기 정지 기법을 통한 효율적인 수렴이 가능함을 시사한다.
• n=204일 경우 학습률 0.005, n=504일 경우 학습률 0.001로 Adam 최적화기를 사용한 학습 과정이 파arameter를 성공적으로 최적화하여 향상된 디코딩 성능을 도출하였다.