[논문 리뷰] Refined Asymptotics for Rate-Distortion using Gaussian Codebooks for Arbitrary Sources

Lin Zhou, Vincent Y. F. Tan외 1명|arXiv (Cornell University)|2017. 08. 16.

Wireless Communication Security Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 임의의 정적 마크وف 기반 소스에 대해 가우시안 코드북을 사용한 손실 압축에 대해 정밀한 渐近적 성질—이차, 중간, 대규모 편차—를 수립한다. 이는 i.i.d. 가우시안 코드북과 구면 코드북이 동일한 분산 및 중간 편차 상수를 가지지만, i.i.d. 코드북은 비율-왜곡 함수를 초과하는 비율에서 엄격히 더 큰 초과왜곡 지수를 달성함으로써, 더 우수한 오차 감소 성능을 보임을 보여준다.

ABSTRACT

The rate-distortion saddle-point problem considered by Lapidoth (1997) consists in finding the minimum rate to compress an arbitrary ergodic source when one is constrained to use a random Gaussian codebook and minimum (Euclidean) distance encoding is employed. We extend Lapidoth's analysis in several directions in this paper. Firstly, we consider refined asymptotics. In particular, when the source is stationary and memoryless, we establish the second-order, moderate, and large deviation asymptotics of the problem. Secondly, by "random Gaussian codebook", Lapidoth referred to a collection of random codewords, each of which is drawn independently and uniformly from the surface of an $n$-dimensional sphere. To be more precise, we term this as a spherical codebook. We also consider i.i.d.\ Gaussian codebooks in which each random codeword is drawn independently from a product Gaussian distribution. We derive the second-order, moderate, and large deviation asymptotics when i.i.d.\ Gaussian codebooks are employed. In contrast to the recent work on the channel coding counterpart by Scarlett, Tan and Durisi (2017), the dispersions for spherical and i.i.d.\ Gaussian codebooks are identical. The ensemble excess-distortion exponents for both spherical and i.i.d.\ Gaussian codebooks are established for all rates. Furthermore, we show that the i.i.d.\ Gaussian codebook has a strictly larger excess-distortion exponent than its spherical counterpart for any rate greater than the ensemble rate-distortion function derived by Lapidoth.

연구 동기 및 목표

• 일차적 비율-왜곡 함수를 초월하는 정밀한 渐近적 성질을 분석함으로써 라피도스의 비율-왜곡 사다리꼴 문제를 확장한다.
• 이차, 중간, 대규모 편차 행동 측면에서 i.i.d. 가우시안 코드북과 구면 코드북의 성능을 비교한다.
• 집합 초과왜곡 지수를 수립하고, 어느 코드북 유형이 비율-왜곡 함수를 초과하는 비율에서 더 뛰어난 오차 감소 성능을 제공하는지 규명한다.
• 분산 및 편차 영역을 통합적으로 분석하여, 가우시안 마크프 기반 소스에 대해 알려진 결과를 특수한 경우로 복원한다.

제안 방법

• 유한 블록 길이에서 비율-왜곡 함수로부터의 백오프를 분석함으로써 이차 渐近적 성질를 유도하며, 초과왜곡 확률을 성능 지표로 사용한다.
• 대규모 편차 이론을 적용하여 비율-왜곡 함수를 엄격히 초과하는 코드 비율에서 초과왜곡 확률의 지수 감소 속도를 특성화한다.
• 모멘트 생성 함수와 레지드레-펜첼 변환을 활용한 변분 접근법을 사용하여 집합 초과왜곡 지수를 계산한다.
• 최소 거리 인코딩 하에서의 비율-왜곡 성능를 분석함으로써 i.i.d. 가우시안 코드북과 구면 코드북을 비교한다.
• 두 코드북 유형에 대해 분산 및 중간 편차 상수가 동일하다는 것을 수립하며, 코드북 생성 메커니즘이 다름에도 불구하고 동일하다.
• 모든 비율-왜곡 함수를 초과하는 비율에서 i.i.d. 가우시안 코드북이 구면 코드북보다 엄격히 더 큰 초과왜곡 지수를 제공함을 증명한다.

실험 결과

연구 질문

• RQ1 i.i.d. 가우시안 코드북과 구면 코드북은 임의의 마크프 기반 소스에 대해 손실 압축에서 동일한 이차 渐近적 성능를 가지는가?
• RQ2 임의의 소스에 대해 가우시안 코드북을 사용할 경우 초과왜곡 확률의 중간 편차 행동은 어떻게 되는가?
• RQ3 비율-왜곡 함수를 초과하는 비율에서 i.i.d. 가우시안 코드북과 구면 코드북 간의 초과왜곡 지수는 어떻게 비교되는가?
• RQ4 기존의 가우시안 마크프 기반 소스에 대한 분산 및 초과왜곡 지수 결과들이 제안된 프레임워크에서 회복될 수 있는가?
• RQ5 왜 i.i.d. 및 구면 가우시안 코드북은 동일한 분산을 가지지만 다른 초과왜곡 지수를 가지는가?

주요 결과

• i.i.d. 가우시안 코드북과 구면 코드북의 이차 渐近적 성질(분산)은 동일하며, 단순한 공식을 통해 소스의 두 번째 및 네 번째 모멘트에만 의존한다.
• 두 코드북 유형에 대한 중간 편차 상수는 동일하며, 이는 특정한 경우로 전환할 경우 기존의 가우시안 마크프 기반 소스 결과로 축소된다.
• 집합 비율-왜곡 함수를 초과하는 모든 비율에서 i.i.d. 가우시안 코드북의 초과왜곡 지수는 구면 코드북보다 엄격히 크다.
• 가우시안 마크프 기반 소스의 경우, i.i.d. 가우시안 코드북을 사용하여 유도된 초과왜곡 지수는 이하라와 쿠보(1997)의 알려진 결과와 일치하며, 이는 프레임워크의 타당성을 검증한다.
• 두 코드북 유형의 분산은 Kostina와 Verdú(2012)가 수립한 가우시안 마크프 기반 소스의 손실 압축 분산과 동일하다.
• 동일한 분산에도 불구하고 초과왜곡 지수의 성능 격차는 대규모 편차 영역에서 i.i.d. 코드북이 더 우수한 꼬리 행동을 제공함을 시사한다.