[논문 리뷰] Source Coding with Fixed Lag Side Information

Emin Martinian, Gregory W. Wornell|ArXiv.org|2004. 10. 04.

Wireless Communication Security Techniques참고 문헌 11인용 수 19

한 줄 요약

이 논문은 복소도입된 피드포워드 채널 부터 유도된 이중성에 기반하여, 복소도입된 피드포워드 정보를 이용해 메모리 없는 유한 알파벳 소스에 대해 저복잡도의 소스 코딩 알고리즘을 제안한다. 이 알고리즘은 고정 지연 측정값을 이용하여 비율-왜곡 함수를 달성하며, 손실 없는 압축 및 형태 조절 기법을 통해 선형 복잡도로 최적의 왜곡 성능을 달성한다.

ABSTRACT

We consider source coding with fixed lag side information at the decoder. We focus on the special case of perfect side information with unit lag corresponding to source coding with feedforward (the dual of channel coding with feedback) introduced by Pradhan. We use this duality to develop a linear complexity algorithm which achieves the rate-distortion bound for any memoryless finite alphabet source and distortion measure.

연구 동기 및 목표

• 해당 논문은 디코더가 소스 시퀀스에 대해 지연된 완전한 지식을 수신할 때 고정 지연 측정값이 소스 코딩에 미치는 이점을 조사한다.
• 채널 코딩에서 피드백과 이중성을 가지는 피드포워드 측정값이 어떻게 저복잡도로 비율-왜곡 함수를 달성하는 데 활용될 수 있는지 탐색한다.
• 임의의 메모리 없는 소스와 왜곡 척도에 대해 이론적 비율-왜곡 한계에 근접하는 실용적인 선형 복잡도의 인코딩 및 디코딩 프레임워크를 개발한다.
• 피드포워드 측정값은 비율-왜곡 함수를 변화시키지 않지만, 표준 손실 없는 압축 및 형태 조절 도구의 사용을 가능하게 하여 효율적인 시스템 설계를 가능하게 한다는 것을 입증한다.

제안 방법

• 저자들은 피드포워드를 갖는 소스 코딩과 피드백을 갖는 채널 코딩 사이의 이중성을 수립하고, 이를 바탕으로 Ooi–Wornell 피드백 채널 방식에 기반한 소스 코딩 알고리즘을 유도한다.
• 이 방법은 블록 기반 인코딩 전략을 사용하며, 소스 블록은 손실 없는 압축을 통해 압축되고, 재구성은 산술 코딩의 이중성을 이용해 원하는 분포와 일치하도록 형태 조절된다.
• 인코더는 크기가 M인 각 블록을 M·H(𝑥̂) + ε 비트로 압축하며, 압축 비율은 조건부 엔트로피 H(𝑥̂|𝑥)에 따라 조정된다.
• 디코더는 지연된 측정값 w_{i−Δ}를 사용하여 𝑥̂_i를 재구성하며, 상호정보량 I(𝑥̂;𝑥)가 달성 가능한 비율을 결정한다.
• 알고리즘은 비율이 I(𝑥̂;𝑥) × {1 + εK/(M H(𝑥̂|𝑥))} / {1 − [H(𝑥̂)/H(𝑥̂|𝑥)]^{-K}} 로 유계될 수 있음을 이용하며, M과 K가 증가함에 따라 이 값은 I(𝑥̂;𝑥)에 수렴한다.
• 큰 M과 K를 선택함으로써, 시스템은 선형 복잡도를 유지하면서도 비율-왜곡 함수에 점점 더 가까이 수렴하게 되며, 이는 오직 표준 손실 없는 압축 및 형태 조절 모듈만을 사용한다.

실험 결과

연구 질문

• RQ1 지연된 완전한 소스 지식을 갖는 고정 지연 측정값을 사용하여 저복잡도 인코딩으로 비율-왜곡 함수를 달성할 수 있는가?
• RQ2 피드포워드를 갖는 소스 코딩과 피드백을 갖는 채널 코딩 사이의 이중성은 어떻게 효율적인 압축 시스템 설계를 가능하게 하는가?
• RQ3 피드포워드 소스 코딩 프레임워크에서 손실 없는 압축 및 형태 조절을 사용할 경우 달성 가능한 비율은 무엇이며, 이는 이론적 비율-왜곡 한계에 얼마나 가까이 도달할 수 있는가?
• RQ4 피드포워드 측정값의 사용은 임의의 메모리 없는 소스와 왜곡 척도에 대해 비율-왜곡 함수에 수렴하는 선형 복잡도 시스템을 가능하게 하는가?
• RQ5 비율이 I(𝑥̂;𝑥)에 수렴하면서도 저복잡도를 유지할 수 있도록 시스템을 설계할 수 있는가?

주요 결과

• 제안된 소스 코딩 알고리즘은 피드포워드 측정값과 선형 복잡도 구성 요소를 사용하여 임의로 낮은 오차로 비율-왜곡 함수를 달성한다.
• 블록 크기 M과 블록 수 K를 증가시킴으로써 비율을 I(𝑥̂;𝑥)에 임의로 가까이 만들 수 있으며, 오차 항은 M과 K가 증가함에 따라 사라진다.
• 시스템은 오직 표준 손실 없는 압축 및 형태 조절 기법—특히 산술 코딩과 그 이중성—을 사용하여 기호당 선형 복잡도를 달성한다.
• Ooi–Wornell의 피드백 채널 방식과의 이중성 덕분에 이론적 비율-왜곡 한계에 정확히 부합하는 소스 코딩 시스템을 구축할 수 있다.
• 메모리 없는 피드포워드는 비율-왜곡 함수를 변화시키지 않지만, 실용적이고 저복잡도의 구현이 가능하게 하여 이론적 한계에 근접한 성능을 달성한다.
• 제안된 방법에 따라 정보 이론적 비율-왜곡 함수와 운영적 비율-왜곡 함수는 동일하며, 이는 제안된 접근의 최적성과 일치함을 확인한다.