[논문 리뷰] Capacity Achieving Linear Codes with Random Binary Sparse Generating Matrices

A. Makhdoumi Kakhaki, Hossein Karkeh Abadi외 4명|arXiv (Cornell University)|2011. 02. 20.

Error Correcting Code Techniques참고 문헌 29인용 수 6

한 줄 요약

이 논문은 이산 대칭 채널과 이진 삭제 채널에서 랜덤 이진 희소 생성 행렬을 사용하여 용량을 달성하는 선형 코드의 존재성을 증명한다. 이는 랜덤 워크 커플링 기반의 새로운 디코더를 활용하여 블록 길이가 증가함에 따라 오류 확률이 0으로 수렴한다는 것을 보여준다. 또한 충분히 큰 블록 길이에서, 임의로 선택된 희소 생성 행렬이 높은 확률로 용량을 달성함을 입증하여, 희소 선형 코드에 관한 문헌에서의 핵심적 격차를 해결한다.

ABSTRACT

In this paper, we prove the existence of capacity achieving linear codes with random binary sparse generating matrices. The results on the existence of capacity achieving linear codes in the literature are limited to the random binary codes with equal probability generating matrix elements and sparse parity-check matrices. Moreover, the codes with sparse generating matrices reported in the literature are not proved to be capacity achieving. As opposed to the existing results in the literature, which are based on optimal maximum a posteriori decoders, the proposed approach is based on a different decoder and consequently is suboptimal. We also demonstrate an interesting trade-off between the sparsity of the generating matrix and the error exponent (a constant which determines how exponentially fast the probability of error decays as block length tends to infinity). An interesting observation is that for small block sizes, less sparse generating matrices have better performances while for large blok sizes, the performance of the random generating matrices become independent of the sparsity. Moreover, we prove the existence of capacity achieving linear codes with a given (arbitrarily low) density of ones on rows of the generating matrix. In addition to proving the existence of capacity achieving sparse codes, an important conclusion of our paper is that for a sufficiently large code length, no search is necessary in practice to find a deterministic matrix by proving that any arbitrarily selected sequence of sparse generating matrices is capacity achieving with high probability. The focus in this paper is on the binary symmetric and binary erasure channels.her discrete memory-less symmetric channels.

연구 동기 및 목표

• 이전에 엄밀하게 입증되지 않았던 희소 생성 행렬을 갖는 용량을 달성하는 선형 코드의 존재성을 증명하여 문헌에서의 격차를 메운다.
• 최적의 MAP 디코딩에 비해 열 劣한 디코더를 사용하더라도, 랜덤 희소 생성 행렬이 여전히 용량을 달성할 수 있음을 보여준다.
• 생성 행렬의 희소성과 오류 지수 사이의 트레이드오프를 규명하여, 블록 길이가 작을 때와 클 때 성능에 미치는 영향이 다르다는 것을 보여준다.
• 충분히 큰 블록 길이에서, 어떤 코드 검색도 필요로 하지 않으며, 임의로 선택된 희소 생성 행렬이 높은 확률로 용량을 달성함을 증명한다.
• 생성 행렬의 각 행에 대해 주어진(임의로 낮은) 1의 밀도를 갖는 코드로 결과를 확장하여, 이러한 용량을 달성하는 코드의 존재성을 증명한다.

제안 방법

• 초기 위치에서 시작하는 하나의 랜덤 워크와 균일한 정적 분포에서 시작하는 다른 하나의 랜덤 워크를 고려하는 새로운 디코딩 접근법을 사용한다.
• 두 워크 간의 만남 시간 τ를 정의하고, τ ≤ k 조건 하에 원점으로의 복귀 확률을 조건화한다.
• 커플링을 적용하여 P(τ > ζn) → 0 (n → ∞) 임을 보여주며, 이는 원점으로의 복귀 확률이 (1/2)^n로 수렴함을 의미한다.
• 주어진 생성 행렬에 대해 정확한 검출 확률에 하한을 구하고, i.i.d. 베르누이(ρ) 요소를 갖는 모든 행렬에 대해 기대값을 취한다.
• 고정된 행 밀도 ρ를 갖는 행렬로 분석을 확장하여, 낮은 행 희소성 조건 하에서도 용량을 달성하는 코드의 존재성을 증명한다.
• 확률적 방법을 사용하여 큰 n에 대해, 임의로 선택된 희소 생성 행렬이 높은 확률로 용량을 달성함을 보여주며, 코드 검색의 필요성을 제거한다.

실험 결과

연구 질문

• RQ1 희소 부호 검사 행렬이 아닌, 랜덤 이진 희소 생성 행렬을 사용하여 용량을 달성하는 선형 부호를 구성할 수 있는가?
• RQ2 랜덤 워크 커플링 기반의 열 劣한 디코더를 사용하더라도 선형 부호에서 용량을 달성할 수 있는가?
• RQ3 이러한 부호에서 생성 행렬의 희소성과 오류 지수 사이의 트레이드오프는 무엇인가?
• RQ4 희소성이 성능에 크게 영향을 주는 블록 길이 범위는 작은 n인지 큰 n인지?
• RQ5 생성 행렬의 각 행에 대해 주어진(임의로 낮은) 1의 밀도를 갖는 경우, 용량을 달성하는 부호의 존재성을 증명할 수 있는가?

주요 결과

• i.i.d. 베르누이(ρ) 생성 행렬을 갖는 랜덤 선형 부호의 오류 확률은 블록 길이 n → ∞일 때 0으로 수렴하며, 이는 용량을 달성하는 부호의 존재성을 증명한다.
• 큰 블록 길이에서, 랜덤 희소 생성 행렬의 성능은 희소성과 독립적이며, 코드 검색이 필요로 하지 않는다.
• 오류 지수는 블록 길이에 따라 지수적으로 감소하며, 감쇠 속도는 희소성 ρ에 따라 달라지며, 희소성과 오류 지수 사이에 비단조화적인 트레이드오프가 존재한다.
• 작은 블록 길이에서는 덜 희소한 행렬(높은 ρ)이 더 좋은 성능을 보이며, 큰 n에서는 희소성이 성능에 거의 영향을 주지 않는다.
• 임의의 고정된 행 밀도 ρ > 0, 즉 0에 매우 가까운 경우에도 용량을 달성하는 선형 부호의 존재성이 증명된다.
• 커플링 추론을 통해, k 단계 후 원점으로의 복귀 확률이 n → ∞일 때 (1/2)^n으로 수렴하며, 이는 기대 오류 확률이 0으로 수렴함을 의미한다.