[논문 리뷰] Second-Order Coding Rates for Conditional Rate-Distortion

Sy-Quoc Le, Vincent Y. F. Tan외 1명|arXiv (Cornell University)|2014. 10. 10.

Wireless Communication Security Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 손실성 소스 코딩에서 인코더와 디코더에 모두 부가 정보가 제공되는 경우, 이산 메모리리스, 가우시안, 마르코프 소스에 대해 비점근적 경계를 사용하여 두 번째 차수의 코딩 속도를 수립한다. 주요 결과는 가우시안 소스에 가우시안 부가 정보가 존재할 경우, 분산이 기호당 정확히 1/2 네이트 제곱이며, 부가 정보 분산과 무관하게 유지된다는 것이다. 이는 부가 정보가 없는 경우의 비율-왜곡 함수와 일치한다.

ABSTRACT

This paper characterizes the second-order coding rates for lossy source coding with side information available at both the encoder and the decoder. We first provide non-asymptotic bounds for this problem and then specialize the non-asymptotic bounds for three different scenarios: discrete memoryless sources, Gaussian sources, and Markov sources. We obtain the second-order coding rates for these settings. It is interesting to observe that the second-order coding rate for Gaussian source coding with Gaussian side information available at both the encoder and the decoder is the same as that for Gaussian source coding without side information. Furthermore, regardless of the variance of the side information, the dispersion is $1/2$ nats squared per source symbol.

연구 동기 및 목표

• 부가 정보가 인코더와 디코더에 모두 존재할 때 손실성 소스 코딩의 유한 블록길이 성능 한계를 규명하는 것.
• 이 설정에서 비율, 왜곡, 블록길이 간의 상호관계를 반영하는 비점근적 경계를 도출하는 것.
• 조건부 비율-왜곡 제약 하에서 이산 메모리리스, 가우시안, 마르코프 소스에 대한 제2차 코딩 속도를 수립하는 것.
• 부가 정보가 손실성 소스 코딩에서 분산과 제2차 점근적 성질에 미치는 영향을 조사하는 것.
• 가우시안 소스의 경우, 부가 정보 분산과 관계없이 분산이 기호당 정확히 1/2 네이트 제곱으로 유지됨을 보여주는 것.

제안 방법

• 조건부 비율-왜곡 문제에 대해 정보 스펙트럼 방법과 갈라저 함수를 사용하여 비점근적 실현 가능 경계를 유도한다.
• 베리-에센 정리와 농도 불등식을 적용하여 코딩 속도의 유한 블록길이 행동을 근사한다.
• 중앙극한정리와 테일러 전개를 사용하여 비율-왜곡 함수의 점근 전개에서 제2차 항을 분석한다.
• 조건부 정보 밀도 $ j_{X|S}(x|s) $ 의 분산(분산)을 분석하여 제2차 코딩 속도를 수립한다.
• 일부 조건 하에서 조건부 정보 밀도 수열이 마르코프 과정을 이룬다는 것을 보이기 위해 마르코프 체인 성질을 적용한다.
• 오차 확률 분석을 강화하기 위해 로그 보정 항을 포함한 정밀한 대칭 확률 경계를 사용한다.

실험 결과

연구 질문

• RQ1 인코더와 디코더에 모두 부가 정보가 존재하는 이산 메모리리스 소스에 대해 제2차 코딩 속도는 무엇인가?
• RQ2 제곱 오차 왜곡 하에서 부가 정보 존재 시 가우시안 소스 코딩의 분산은 어떻게 영향을 받는가?
• RQ3 부가 정보의 분산이 가우시안 설정에서 제2차 점근적 성질에 영향을 미치는가?
• RQ4 합성 소스-부가 정보 수열이 시간에 독립적인 마르코프 체인을 이룰 경우 마르코프 소스에 대한 제2차 코딩 속도는 무엇인가?
• RQ5 유한 블록길이 효과를 고려한 비점근적 경계를 사용하여 조건부 비율-왜곡의 제2차 코딩 속도를 특성화할 수 있는가?

주요 결과

• 유한 알파벳과 하밍 왜곡을 갖는 이산 메모리리스 소스에 대해 제2차 코딩 속도가 명시적으로 유도되었으며, 기존 결과를 조건부 케이스로 확장하였다.
• 가우시안 부가 정보와 제곱 오차 왜곡을 갖는 가우시안 소스에 대해 제2차 코딩 속도가 분산이 정확히 기호당 1/2 네이트 제곱임을 특성화하였다.
• 가우시안 케이스의 분산은 부가 정보 분산과 무관하게 유지되며, 이는 직관에 어긋나는 결과이지만 부가 정보가 존재하더라도 성립한다.
• 합성 소스-부가 정보 수열이 시간에 독립적인 마르코프 체인을 이룰 경우 마르코프 소스에 대해 제2차 코딩 속도는 조건부 정보 밀도 분산을 통해 수립되었다.
• 가우시안 케이스의 제2차 코딩 속도는 부가 정보가 없는 경우와 동일하며, 인코더에 부가 정보가 있어도 분산 향상이 없다는 것을 시사한다.
• 비점근적 경계는 정밀하며, 오차 확률 수렴 속도가 $ O(rac{ ext{log } n}{n}) $ 주기로 제2차 점근적 성질 유도에 기여한다.