[논문 리뷰] Low-density graph codes that are optimal for source/channel coding and binning

Martin J. Wainwright, Emin Martinian|ArXiv.org|2007. 04. 13.

Error Correcting Code Techniques참고 문헌 49인용 수 12

한 줄 요약

이 논문은 저밀도 생성행렬(LDGM) 및 저밀도 검사행렬(LDPC) 코드를 조합한 희소 그래픽 부호의 클래스를 제안하며, 최적의 인코딩/디코딩 하에서 소스 부호화 및 채널 부호화에 대해 최적 성능을 달성한다. 유한 차수의 구성이 이진 대칭 소스의 비율-왜곡 곡선과 이진 대칭 채널의 용량-노이즈 곡선의 모든 점을 달성할 수 있음을 증명하며, 웨이너-지브 및 젤파인-핀스커 문제에의 응용을 포함한다.

ABSTRACT

We describe and analyze the joint source/channel coding properties of a class of sparse graphical codes based on compounding a low-density generator matrix (LDGM) code with a low-density parity check (LDPC) code. Our first pair of theorems establish that there exist codes from this ensemble, with all degrees remaining bounded independently of block length, that are simultaneously optimal as both source and channel codes when encoding and decoding are performed optimally. More precisely, in the context of lossy compression, we prove that finite degree constructions can achieve any pair $(R, D)$ on the rate-distortion curve of the binary symmetric source. In the context of channel coding, we prove that finite degree codes can achieve any pair $(C, p)$ on the capacity-noise curve of the binary symmetric channel. Next, we show that our compound construction has a nested structure that can be exploited to achieve the Wyner-Ziv bound for source coding with side information (SCSI), as well as the Gelfand-Pinsker bound for channel coding with side information (CCSI). Although the current results are based on optimal encoding and decoding, the proposed graphical codes have sparse structure and high girth that renders them well-suited to message-passing and other efficient decoding procedures.

연구 동기 및 목표

• 유한 차수를 가진 희소 그래픽 부호를 설계하여 소스 부호화 및 채널 부호화 모두에서 최적 성능을 동시에 달성하는 것.
• 손실 압축 및 복합 소스-채널 부호화에 대한 희소 부호의 이해 부족을 메우는 것, 특히 측정 정보가 존재할 경우에 초점 맞추기.
• LDPC 유사 부호의 적용 범위를 순수한 채널 부호화를 넘어서 손실 압축 및 측정 정보가 있는 부호화로 확장하는 것.
• 유한 차수 구성이 이진 대칭 모델에 대해 정보이론적 한계를 달성할 수 있음을 엄밀히 입증하는 것.
• 복합 부호의 내재된 구조가 웨이너-지브 및 젤파인-핀스커 한계를 달성할 수 있음을 보여주는 것.

제안 방법

• 저밀도 생성행렬(LDGM) 부호와 저밀도 검사행렬(LDPC) 부호를 조합하여 복합 부호를 구성한다.
• 밀도 진동 및 대규수 분석을 사용하여 부호 집합의 점근적 성능을 특성화한다.
• 공액 쌍대 및 은둔 함수 정리를 적용하여 임계점에서의 비율 함수와 그 도함수를 분석한다.
• 부호의 내재된 구조를 활용하여 분산 소스 부호화(Wyner-Ziv) 및 측정 정보가 있는 채널 부호화(Gelfand-Pinsker)를 지원한다.
• w = 1/2에서의 대칭성을 활용하여 도함수 계산을 단순화하고 비율 함수의 엄격한 볼록성(strict concavity)을 증명한다.
• Danskin의 정리와 은둔 함수 정리를 적용하여 성능 함수의 미분 가능성과 이阶 도함수 성질을 확립한다.

실험 결과

연구 질문

• RQ1 유한 차수의 희소 그래픽 부호가 이진 대칭 소스의 전체 비율-왜곡 곡선을 달성할 수 있는가?
• RQ2 이러한 부호가 이진 대칭 채널의 전체 용량-노이즈 곡선을 달성할 수 있는가?
• RQ3 복합 LDGM-LDPC 구조가 측정 정보가 있는 소스 부호화에 대해 웨이너-지브 한계를 달성할 수 있는가?
• RQ4 동일한 구성이 측정 정보가 있는 채널 부호화에 대해 젤파인-핀스커 한계를 달성할 수 있는가?
• RQ5 부호 집합의 성능가 비율 함수가 엄격한 볼록성을 가지며 최적의 트레이드오프를 가능하게 하는가?

주요 결과

• 최적의 인코딩 및 디코딩 하에서, 유한 차수의 LDGM-LDPC 부호가 이진 대칭 소스의 비율-왜곡 곡선의 모든 점을 달성할 수 있다.
• 최적의 인코딩 및 디코딩 하에서, 유한 차수의 LDGM-LDPC 부호가 이진 대칭 채널의 용량-노이즈 곡선의 모든 점을 달성할 수 있다.
• 복합 부호 구조는 내재된 구조를 지니며, 측정 정보가 있는 소스 부호화에 대해 웨이너-지브 한계를 달성할 수 있다.
• 동일한 부호 구조는 측정 정보가 있는 채널 부호화에 대해 젤파인-핀스커 한계를 달성할 수 있다.
• 비율 함수 $ B(w) $ 는 $ w = 1/2 $ 에서 엄격한 볼록성을 가지며, $ B''(1/2) < 0 $ 이다. 이는 국소 최적성과 해의 유일성을 확인한다.
• 비율 함수의 이阶 도함수를 명시적으로 계산하였으며, $ B''(1/2) = \frac{d_v - 1}{4} - 4d_v < 0 $ 를 도출하여 엄격한 볼록성과 최적점의 안정성을 확인한다.