[논문 리뷰] A Practical Approach to Lossy Joint Source-Channel Coding

Maria Fresia, Giuseppe Caire|ArXiv.org|2007. 02. 12.

Error Correcting Code Techniques참고 문헌 68인용 수 11

한 줄 요약

이 논문은 기존의 소스 코더에서 엔트로피 코딩을 선형 채널 코딩으로 대체하여 치명적인 오류 전파를 방지하는 실용적인 공동 소스-채널 코딩(JSCC) 기법을 제안한다. 양자화된 변환 계수(예: JPEG2000 비트 플레인)의 마르코프 구조를 활용하여 유한 블록길이 영역에서 반복적 신뢰도 전파 디코딩을 가능하게 하여 별도의 코딩 대비 뚜렷한 성능 향상을 이룬다. 기존의 소스 코딩 구성 요소를 재설계하지 않고도 거의 최적의 왜곡-비트레이트 트레이드오프를 달성한다.

ABSTRACT

This work is devoted to practical joint source channel coding. Although the proposed approach has more general scope, for the sake of clarity we focus on a specific application example, namely, the transmission of digital images over noisy binary-input output-symmetric channels. The basic building blocks of most state-of the art source coders are: 1) a linear transformation; 2) scalar quantization of the transform coefficients; 3) probability modeling of the sequence of quantization indices; 4) an entropy coding stage. We identify the weakness of the conventional separated source-channel coding approach in the catastrophic behavior of the entropy coding stage. Hence, we replace this stage with linear coding, that maps directly the sequence of redundant quantizer output symbols into a channel codeword. We show that this approach does not entail any loss of optimality in the asymptotic regime of large block length. However, in the practical regime of finite block length and low decoding complexity our approach yields very significant improvements. Furthermore, our scheme allows to retain the transform, quantization and probability modeling of current state-of the art source coders, that are carefully matched to the features of specific classes of sources. In our working example, we make use of ``bit-planes'' and ``contexts'' model defined by the JPEG2000 standard and we re-interpret the underlying probability model as a sequence of conditionally Markov sources. The Markov structure allows to derive a simple successive coding and decoding scheme, where the latter is based on iterative Belief Propagation. We provide a construction example of the proposed scheme based on punctured Turbo Codes and we demonstrate the gain over a conventional separated scheme by running extensive numerical experiments on test images.

연구 동기 및 목표

• 유한 블록길이 및 저복잡도 환경에서 발생하는 별도의 소스-채널 코딩에서의 치명적인 오류 전파 문제를 해결하기 위해.
• 변환,量子화,확률 모델링 등의 기존 최첨단 소스 코딩 구성 요소를 유지하면서 채널 오류에 대한 강건성을 향상시키기 위해.
• 엔트로피 코딩을 선형 채널 코딩으로 대체함으로써 渐近 최적성은 유지하면서 실용적 성능을 크게 향상시킬 수 있는지 입증하기 위해.
• JPEG2000 등 표준과 호환되는 실용적이고 모듈식인 JSCC 프레임워크를 제공하기 위해. 반복적 디코딩과 펌프드 터보 코딩을 활용한다.

제안 방법

• 기존 소스 코더의 엔트로피 코딩 단계를 양자화된 변환 계수를 직접 채널 코딩 워드로 매핑하는 선형 채널 코딩 단계로 대체한다.
• 양자화 인덱스의 순서를 조건부 마르코프 소스로 모델링하여 신뢰도 전파를 통한 효율적 순차적 디코딩을 가능하게 한다.
• 두 단계의 선형 코딩 구조를 사용한다: 외부 소스 코딩(G2)이 소스 기호를 중간 기호로 매핑하고, 내부 채널 코딩(G1)이 이를 채널 코딩 워드로 매핑한다.
• 내부 코딩에 최대우도 디코딩을, 외부 코딩에 MAP 기반 디코딩을 사용하며, 신뢰도 전파를 통한 반복적 디코딩을 구현한다.
• 실용적 구현을 위해 펌프드 터보 코딩을 채널 코딩으로 활용하여 낮은 복잡도로도 높은 성능 향상을 달성한다.
• 정보이론적 결과를 활용한다: 선형 코딩은 채널 용량 한계에 도달하며, 양자화된 스칼라 양자화와 엔트로피 코딩은 거의 비트레이트-왜곡 한계에 도달한다.

실험 결과

연구 질문

• RQ1 기존 소스 코더에서 엔트로피 코딩을 선형 채널 코딩으로 대체하면 노이즈가 있는 채널에서 치명적인 오류 전파를 제거할 수 있는가?
• RQ2 이 방법은 유한 블록길이 및 저복잡도 환경에서 渐近 최적성을 유지하면서 성능 향상을 이룰 수 있는가?
• RQ3 기존의 소스 코딩 구성 요소(예: JPEG2000 비트 플레인 모델링)를 공동 소스-채널 코딩 프레임워크 내에서 유지할 수 있는가?
• RQ4 제안된 JSCC 기법의 성능은 기존의 별도의 코딩 대비 왜곡과 비트 오류율 측면에서 어떻게 비교되는가?
• RQ5 채널 오류로 인해 양자화 계수에 오류가 발생했을 때, 반복적 신뢰도 전파 디코딩이 소스 기호를 효과적으로 복구할 수 있는가?

주요 결과

• 제안된 JSCC 기법은 특히 왜곡과 비트 오류율 측면에서 기존의 별도의 코딩 대비, 유한 블록길이 영역에서 뚜렷한 성능 향상을 보였다.
• 이 기법은 渐近 최적성을 유지하며, C / H̄에 가까운 비트레이트 효율을 달성한다. 여기서 C는 채널 용량이고 H̄는 소스 엔트로피 레이트이다.
• 광범위한 수치 실험을 통해 제안된 기법이 기존의 별도의 코딩 기법보다 뛰어난 성능을 보임을 입증하였다. 특히 저 SNR 및 고왜곡 영역에서 두드러진 성능 향상을 보였다.
• 펌프드 터보 코딩을 사용함으로써 낮은 디코딩 복잡도로도 실용적인 구현이 가능했고, 높은 성능 향상을 달성하였다.
• 채널 오류 상황에서 엔트로피 코딩의 치명적인 실패 현상은 선형 코딩으로 대체함으로써 효과적으로 완화되었으며, 선형 코딩은 비치명적인 오류 행동을 보였다.
• 기존의 소스 코딩 표준(예: JPEG2000)과의 원활한 통합이 가능해, 변환, 양자화, 컨텍스트 모델링 구성 요소를 그대로 재사용할 수 있었다.