[논문 리뷰] RNN Decoding of Linear Block Codes

Eliya Nachmani, Elad Marciano외 2명|arXiv (Cornell University)|2017. 02. 24.

Error Correcting Code Techniques참고 문헌 18인용 수 40

한 줄 요약

이 논문은 선형 블록 부호에 대해 순환 신경망(RNN) 디코더를 제안하며, 피드포워드 신경망 디코더 수준의 성능를 달성하면서도 훨씬 적은 파라미터를 사용한다. RNN은 고신호대역비(SNR) 영역에서 민감도 전파(Belief Propagation, BP)보다 최대 1.5 dB 향상된 비트 오류율 성능을 보이며, 희박한 Tanner 그래프에서도 성능 향상을 보여, 사이클 수가 줄어든 부호 검사 행렬을 사용할 경우 최대 1.0 dB의 성능 향상을 기록한다.

ABSTRACT

Designing a practical, low complexity, close to optimal, channel decoder for powerful algebraic codes with short to moderate block length is an open research problem. Recently it has been shown that a feed-forward neural network architecture can improve on standard belief propagation decoding, despite the large example space. In this paper we introduce a recurrent neural network architecture for decoding linear block codes. Our method shows comparable bit error rate results compared to the feed-forward neural network with significantly less parameters. We also demonstrate improved performance over belief propagation on sparser Tanner graph representations of the codes. Furthermore, we demonstrate that the RNN decoder can be used to improve the performance or alternatively reduce the computational complexity of the mRRD algorithm for low complexity, close to optimal, decoding of short BCH codes.

연구 동기 및 목표

• 짧고 중간 길이의 선형 블록 부호에 대해 저복잡도이면서 거의 최적의 디코더를 설계하는 데 있어 열려 있는 과제를 해결한다.
• 오차 정정 성능가 낮은 고밀도 부호 검사 행렬(HDPC) 부호에서 민감도 전파(BP)의 한계를 극복한다.
• 피드포워드 아키텍처에 비해 성능을 유지하거나 향상시키면서도 디코딩에 필요한 파라미터 수를 줄인다.
• 희박한 Tanner 그래프와 사이클 수가 줄어든 부호 검사 행렬에서 RNN 기반 디코딩의 효과성을 탐색한다.
• BCH 부호에 대해 mRRD 알고리즘에 RNN 디코더를 통합하여 성능 향상 또는 계산 복잡도 감소를 도모한다.

제안 방법

• 논문 [11]에서 제안한 피드포워드 신경망 디코더 아키텍처를 순환 신경망(RNN) 구조로 변형하여 반복적 디코딩 과정을 순차적 연산으로 모델링한다.
• 훈련 중에 학습된 소프트 Tanner 그래프 표현을 사용하며, RNN은 다중 디코딩 반복 동안 메시지를 정밀하게 조정한다.
• 민감도 전파(BP)의 5단계 반복에 해당하는 전개 길이(unfold length)가 5인 다중 손실 목적 함수를 사용하여 RNN을 훈련시켜 반복적 디코딩 행동을 시뮬레이션한다.
• BCH(63,36) 부호에 대해 mRRD(수정된 순환 링 디코딩) 알고리즘의 표준 BP 구성 요소를 RNN 디코더로 대체한다.
• 변수 노드와 체크 노드 간 메시지를 순환 방식으로 처리하는 파rameterized RNN 아키텍처를 활용하여, BP의 메시지 전달 동역학을 모방한다.
• 대칭성 가정 하에 하나의 코드워드(예: 모두 0)로 훈련하여 모든 코드워드로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 RNN 기반 디코더는 훨씬 적은 파라미터로 피드포워드 신경망 디코더와 유사한 비트 오류율(BER) 성능를 달성할 수 있는가?
• RQ2 사이클 수가 줄어든 희박한 부호 검사 행렬에 적용했을 때 RNN 디코더는 성능을 유지하거나 향상시키는가?
• RQ3 RNN 디코더는 짧은 BCH 부호에 대해 기존의 저복잡도 디코딩 알고리즘인 mRRD의 성능을 향상시킬 수 있는가?
• RQ4 표준 민감도 전파(BP)에 비해 RNN 디코더는 얼마나 많은 계산 복잡도를 줄일 수 있는가? 이때 BER 성능는 유지되거나 향상되는가?
• RQ5 RNN 기반 소프트 Tanner 그래프 학습은 사이클 수가 줄어든 부호 검사 행렬에서도 표준 민감도 전파를 초월한 디코딩 성능 향상을 이끌 수 있는가?

주요 결과

• 고신호대역비(SNR) 영역에서 RNN 디코더는 민감도 전파(BP)보다 최대 1.5 dB 향상된 BER 성능를 기록하며, 논문 [11]에서 제안한 더 복잡한 피드포워드 신경망 디코더의 성능를 정확히 재현한다.
• 피드포워드 대비 RNN 아키텍처는 파라미터 수를 크게 줄여 저복잡도 디코딩을 가능하게 한다.
• 사이클 수가 줄어든 부호 검사 행렬에서 RNN 디코더는 표준 BP보다 최대 1.0 dB 향상된 성능를 기록하며, 그래프의 희박성과 낮은 사이클 구조에 대해 강건함을 입증한다.
• BCH(63,36) 부호에서 mRRD 알고리즘에 RNN 디코더를 통합하면, m=1, 3, 5일 때 각각 0.6 dB, 0.3 dB, 0.2 dB의 향상이 발생한다.
• 평균 BP 반복 수가 8% 증가했음에도 불구하고, mRRD-RNN 디코더는 더 작은 m 값으로 동일한 오류율을 달성하여 계산 복잡도를 네트워크적으로 감소시킨다.
• 훈련된 RNN 디코더는 일반화가 잘 되는 소프트 Tanner 그래프를 생성하여, 원래의 부호 검사 행렬이 더 희박하고 짧은 사이클 수가 적은 경우에도 성능 향상을 이끌어낸다.