[논문 리뷰] Learning to Decode: Reinforcement Learning for Decoding of Sparse Graph-Based Channel Codes

Salman Habib, Allison Beemer외 1명|arXiv (Cornell University)|2020. 10. 12.

Error Correcting Code Techniques인용 수 5

한 줄 요약

이 논문은 신뢰도 전파(BP) 디코딩에서 체크 노드(CN) 스케줄링을 최적화하기 위해 Q-학습을 사용하는 강화학습(RL) 기반의 복호화 프레임워크를 제안한다. 체크 노드 선택을 그래프 유도 클러스터링으로 상태 공간 복잡도를 감소시킨 다중 손잡이 슬롯 문제로 모델링함으로써, 플러드, MGI 및 노드 단위 스케줄링(NS) 방식에 비해 뛰어난 비트 오류율(BER) 성능과 상당히 낮은 메시지 전달 복잡도를 달성한다.

ABSTRACT

We show in this work that reinforcement learning can be successfully applied to decoding short to moderate length sparse graph-based channel codes. Specifically, we focus on low-density parity check (LDPC) codes, which for example have been standardized in the context of 5G cellular communication systems due to their excellent error correcting performance. These codes are typically decoded via belief propagation iterative decoding on the corresponding bipartite (Tanner) graph of the code via flooding, i.e., all check and variable nodes in the Tanner graph are updated at once. In contrast, in this paper we utilize a sequential update policy which selects the optimum check node (CN) scheduling in order to improve decoding performance. In particular, we model the CN update process as a multi-armed bandit process with dependent arms and employ a Q-learning scheme for optimizing the CN scheduling policy. In order to reduce the learning complexity, we propose a novel graph-induced CN clustering approach to partition the state space in such a way that dependencies between clusters are minimized. Our results show that compared to other decoding approaches from the literature, the proposed reinforcement learning scheme not only significantly improves the decoding performance, but also reduces the decoding complexity dramatically once the scheduling policy is learned.

연구 동기 및 목표

• 전통적인 신뢰도 전파에서 높은 복호화 복잡도와 최적화되지 않은 수렴 문제를 해결하기 위해.
• 강화학습을 사용하여 짧고 중간 길이의 LDPC 코드에 대한 복호화 성능을 향상시키기 위해.
• 그래프 구조에 기반한 체크 노드 클러스터링을 통해 큰 상태 공간에서 Q-학습의 계산 부담을 줄이기 위해.
• 기존 반복 복호화 방식을 능가하는 확장성 있고 저복잡도의 복호화 프레임워크를 개발하기 위해.
• 실시간 잔여 계산이 필요 없는 실시간 적응형 스케줄링을 가능하게 하여, 노드 단위 스케줄링과는 달리 이를 구현하기 위해.

제안 방법

• 각 체크 노드를 다중 손잡이 슬롯 설정에서 '손'으로 간주하는 마르코프 결정 과정(MDP)으로 CN 스케줄링 과정을 모델링한다.
• 행동-가치 함수를 추정하기 위해 Q-학습을 적용하여 수렴 속도와 복호화 성능를 최대화하는 CN을 선택한다.
• 체크 노드를 상호 간 의존성이 최소화된 클러스터로 분할하는 그래프 유도 클러스터링 방법을 제안하여 상태 공간 차원을 감소시킨다.
• 학습 효율성과 성능 향상을 위해 내부 짧은 사이클 수를 최대화함으로써 클러스터 구조를 최적화한다.
• 학습된 최적의 스케줄링 정책을 사용하여 메시지 전달 과정에서 총 메시지 수를 최소화한다.
• 세 가지 변종을 구현: MQC(최대 Q-값 수), MQR(최대 Q-값 보상), MQO(최적 Q-값 정책)이며, MQO가 가장 우수한 성능를 보였다.

실험 결과

연구 질문

• RQ1 강화학습이 LDPC 코드의 신뢰도 전파에서 체크 노드 스케줄링을 효과적으로 최적화할 수 있는가?
• RQ2 실용적인 LDPC 복호화를 위해 Q-학습의 지수적 증가하는 상태 공간 복잡도를 어떻게 줄일 수 있는가?
• RQ3 체크 노드의 그래프 유도 클러스터링이 학습 효율성과 복호화 성능를 향상시키는가?
• RQ4 RL 기반 스케줄링이 BER과 메시지 전달 복잡도 측면에서 기존의 플러드 및 노드 단위 스케줄링을 능가할 수 있는가?
• RQ5 실시간 잔여 계산 없이 성능을 유지하거나 향상시키는 것이 가능한가?

주요 결과

• 제안된 RL 기반 복호화 방식의 MQO 변종은 (3,6)-정규 및 (3,7) AB-LDPC 코드 모두에서 모든 신호 대 잡음비(SNR) 수준에서 최고의 BER 성능를 달성한다.
• SNR 2.5 dB에서 MQO는 (3,6)-정규 코드의 평균 CN-노드 메시지 수를 163으로 줄였고, (3,7) AB-LDPC 코드에서는 208로 줄여 플러드 및 NS 방식을 능가한다.
• NS 방식에 비해 RL 기반 접근 방식은 실시간 잔여 계산이 필요 없음을 확인하여, 상당히 낮은 메시지 전달 복잡도를 달성한다.
• 사이클 수를 최대화하는 그래프 유도 클러스터링 방법은 학습 효율성을 향상시키고, 최적화되지 않은 클러스터링보다 더 나은 복호화 성능를 제공한다.
• 고 SNR에서 플러드 방식 대비 평균 35%의 메시지 수 감소를 기록했으며, 이는 더 낮은 BER 성능를 동시에 달성한 것이다.
• RL 기반 프레임워크는 더 빠른 수렴과 낮은 지연 복호화를 가능하게 하여, 저지연 통신 시스템에 적합하다.