[논문 리뷰] The Dispersion of Lossy Source Coding

Amir Ingber, Yuval Kochman|arXiv (Cornell University)|2011. 02. 13.

Wireless Communication Security Techniques참고 문헌 7인용 수 16

한 줄 요약

이 논문은 손실성 소스 코딩의 유한 블록길이 행동을 규명하기 위해 목표 초과 손실 확률을 달성하는 데 필요한 최소 비트 전달률에 대한 분산 기반 근사식을 도출한다. 이는 비트 전달률 재량이 $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ 비례함을 보여주며, 여기서 $ V(\mathbf{p},D) $ 는 초과 손실 분산이며, 채널 코딩의 분산 프레임워크를 소스 코딩에 확장한 것이다.

ABSTRACT

In this work we investigate the behavior of the minimal rate needed in order to guarantee a given probability that the distortion exceeds a prescribed threshold, at some fixed finite quantization block length. We show that the excess coding rate above the rate-distortion function is inversely proportional (to the first order) to the square root of the block length. We give an explicit expression for the proportion constant, which is given by the inverse Q-function of the allowed excess distortion probability, times the square root of a constant, termed the excess distortion dispersion. This result is the dual of a corresponding channel coding result, where the dispersion above is the dual of the channel dispersion. The work treats discrete memoryless sources, as well as the quadratic-Gaussian case.

연구 동기 및 목표

• 유한 블록길이에서 주어진 초과 손실 확률을 달성하기 위해 필요한 최소 코딩 비트 전달률을 규명하는 것.
• 채널 코딩의 분산 프레임워크를 손실성 소스 코딩의 이중 문제인 초과 손실 제약에 확장하는 것.
• 블록길이와 손실 확률에 따라 비트 전달률 재량의 명시적 표현을 유도하는 것.
• 이산 메모리 없는 소스와 부드러움 조건 하에서의 제곱형-가우시안 케이스에 대해 결과를 수립하는 것.

제안 방법

• 중앙극한정리와 베르리-에센 경계를 사용하여 초과 손실 확률에 대한 정규 근사식을 도출한다.
• 초과 손실 분산 $ V(\mathbf{p},D) $ 를 소스 분포에 대한 비트 전달률 함수의 도함수의 분산으로 정의한다.
• 진짜 소스 분포 근처에서 비트 전달률 함수의 타일러 전개를 사용하여 비트 전달률 재량과 소스 시퀀스의 경험적 유형을 연결한다.
• 대규모 편차 및 농도 부등식을 적용하여 타일러 전개의 고차항을 제한한다.
• 확률 체이닝과 $ Q $-함수를 통한 가우시안 근사 방법을 사용하여 비트 전달률 재량의 상한 및 하한을 수립한다.
• 함수 $ Q^{-1} $ 의 부드러움 조건을 이용하여 비트 전달률 재량이 $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ 와 渐近적으로 동치임을 증명한다.

실험 결과

연구 질문

• RQ1 고정된 초과 손실 확률이 요구될 때, 최소 코딩 비트 전달률은 블록길이에 따라 어떻게 변화하는가?
• RQ2 손실성 소스 코딩에서 비트 전달률 함수 위의 유한 블록길이 보정 항은 무엇인가?
• RQ3 초과 손실 분산 $ V(\mathbf{p},D) $ 는 소스의 통계적 성질과 손실 측정법과 어떻게 관련이 있는가?
• RQ4 채널 코딩의 분산 프레임워크는 초과 손실 제약 조건이 있는 소스 코딩에 이중적으로 적용될 수 있는가?

주요 결과

• 비트 전달률 함수 위의 초과 코딩 비트 전달률은 $ \sqrt{V(\mathbf{p},D)/n} \cdot Q^{-1}(\varepsilon) $ 에 대해 渐진적으로 비례한다. 여기서 $ V(\mathbf{p},D) $ 는 초과 손실 분산이다.
• 결과는 비트 전달률 함수에 대한 부드러움 조건이 만족되는 이산 메모리 없는 소스와 제곱형 손실을 가진 가우시안 소스에 대해 유효하다.
• 분산 $ V(\mathbf{p},D) $ 는 소스 분포에 대한 비트 전달률 함수의 도함수의 분산으로 정의된다.
• 비트 전달률 재량은 비트 전달률 함수의 타일러 전개와 경험적 유형에 대한 농도 부등식을 통해 유도된다.
• 베르리-에센 정리와 i.i.d. 랜덤 변수의 합에 대한 가우시안 근사 방법을 사용하여 점근적 근사가 검증된다.
• 이 결과는 마르톤의 초과 손실 지수를 보완하는 것으로, 점근적 분석과 비점근적 분석 사이의 간극을 메운다.