[논문 리뷰] On the Iterative Decoding of High-Rate LDPC Codes With Applications in Compressed Sensing

Fan Zhang, Henry D. Pfister|arXiv (Cornell University)|2009. 03. 12.

Error Correcting Code Techniques참고 문헌 44인용 수 34

한 줄 요약

이 논문은 이진 삭제 채널(BEC)과 q-진 대칭 채널(q-SC)에서 고율 LDPC 코드의 검증 복원(decoding)을 분석하며, 복원 임계값과 멈춤 집합(stopping sets)에 대한 척도 법칙을 도출한다. 이 결과들을 압축 감지(CS)에 확장하여, 실수값 측정과 검증 복원을 통해 엄밀히 희박한 신호가 높은 확률로 O(p) 측정값과 선형 시간 알고리즘으로 재구성 가능하다는 것을 보이며, 실수값 측정 덕분에 일정한 과측정 비율을 달성한다.

ABSTRACT

This paper considers the performance of $(j,k)$-regular low-density parity-check (LDPC) codes with message-passing (MP) decoding algorithms in the high-rate regime. In particular, we derive the high-rate scaling law for MP decoding of LDPC codes on the binary erasure channel (BEC) and the $q$-ary symmetric channel ($q$-SC). For the BEC, the density evolution (DE) threshold of iterative decoding scales like $Θ(k^{-1})$ and the critical stopping ratio scales like $Θ(k^{-j/(j-2)})$. For the $q$-SC, the DE threshold of verification decoding depends on the details of the decoder and scales like $Θ(k^{-1})$ for one decoder. Using the fact that coding over large finite alphabets is very similar to coding over the real numbers, the analysis of verification decoding is also extended to the the compressed sensing (CS) of strictly-sparse signals. A DE based approach is used to analyze the CS systems with randomized-reconstruction guarantees. This leads to the result that strictly-sparse signals can be reconstructed efficiently with high-probability using a constant oversampling ratio (i.e., when the number of measurements scales linearly with the sparsity of the signal). A stopping-set based approach is also used to get stronger (e.g., uniform-in-probability) reconstruction guarantees.

연구 동기 및 목표

• 고율 영역에서 메시지 전달과 검증 복원을 사용한 고율 LDPC 코드의 성능을 분석하는 것.
• BEC와 q-SC에서 복원 임계값에 대한 척도 법칙을 유도하며, 특히 임계 멈춤 비율에 초점을 맞추는 것.
• 분석을 압축 감지(CS)에 확장하여, 검증 복원이 엄밀히 희박한 신호의 효율적 재구성 가능성을 보여주는 것.
• 실수값 측정 행렬이 CS에서 기존의 O(p log(n/p)) 하한을 우회하여 일정한 과측정 비율을 달성할 수 있음을 보여주는 것.
• 밀도 진동과 멈춤 집합 기반 보장을 모두 제공하며, 확률에 대해 균일한 결과를 포함하는 것.

제안 방법

• 밀도 진동(DE)을 사용하여 BEC와 q-SC에서 검증 복원의 임계값 행동을 분석하며, 고정된 j에 대해 DE 임계값이 Θ(k⁻¹)의 척도를 가짐을 보여준다.
• 멈춤 집합 기반 접근법을 적용하여 확률에 대해 균일한 재구성 보장을 도출하며, 실패 확률이 n이 증가함에 따라 0으로 수렴함을 보여준다.
• 척도 분석을 통해 희박도 p가 0에 수렴할 때의 희박도 임계값에 대한 점근적 표현을 유도한다.
• 스티르링의 근사법과 엔트로피 함수의 상한을 사용하여 작은 멈춤 집합의 수를 상한으로 제한하며, 그 기대값이 극한에서 0으로 수렴함을 증명한다.
• 큰 유한체에서의 부호화와 실수에서의 부호화 간의 유사성을 활용하여, 실수값 측정 행렬을 사용한 압축 감지에 대해 LDPC 복원 결과를 확장한다.
• 검증 디코더를 리스트-메시지 전달의 부분 최적화된 형태로 간주하여, 고신호대역비(SNR) 영역에서 믿음 전파(Belief Propagation)의 대체 수단으로서의 타당성을 제시한다.

실험 결과

연구 질문

• RQ1 BEC에서 (j,k)-정규 LDPC 코드의 메시지 전달 복원에 대한 고율 척도 법칙은 무엇인가?
• RQ2 고율 LDPC 코드에서 고정된 j에 대해 BEC에서 임계 멈춤 비율은 k에 대해 어떻게 척도가 되는가?
• RQ3 q-진 대칭 채널에서 검증 복원의 복원 임계값 행동은 무엇이며, k에 따라 어떻게 척도가 되는가?
• RQ4 LDPC 코드에서의 검증 복원은 실수값 측정을 사용한 압축 감지에서 효율적인 재구성에 확장될 수 있는가?
• RQ5 실수값 측정 행렬을 사용한 검증 복원을 적용할 경우, CS에서의 측정 수에 대한 O(p log(n/p)) 하한이 여전히 적용되는가?

주요 결과

• BEC에서 반복 복원의 밀도 진동 임계값은 고정된 j에 대해 Θ(k⁻¹)의 척도를 가지며, 임계 멈춤 비율은 Θ(k⁻ʲ⁄⁽ʲ⁻²⁾)의 척도를 가진다.
• q-SC에서 검증 복원은 한 디코더 유형에 대해 Θ(k⁻¹)의 DE 임계값 척도를 달성하며, 디코더의 세부 사양에 따라 달라진다.
• 압축 감지에서 엄밀히 희박한 신호는 O(p) 측정값과 선형 시간 알고리즘을 사용해 높은 확률로 재구성 가능하며, 일정한 과측정 비율을 달성한다.
• 노이즈가 없는 실수값 측정 행렬에서는 측정 수에 대한 O(p log(n/p)) 하한이 적용되지 않으며, 각 측정에서 무한한 정보를 제공하기 때문이다.
• 크기가 o(n)인 멈춤 집합의 기대 수는 n → ∞일 때 0으로 수렴하며, 이는 검증 복원 하에서 실패 확률이 0으로 수렴함을 증명한다.
• 모든 A > 0에 대해, 크기가 A ln n와 δⱼ,ₖn 사이인 멈춤 집합이 존재할 확률은 n → ∞일 때 0으로 수렴하며, 이는 확률에 대해 균일한 재구성 보장이 성립함을 확인한다.