[논문 리뷰] Rate-Distortion Bounds for High-Resolution Vector Quantization via Gibbs's Inequality.

Tobias Koch, Gonzalo Vazquez-Vilar|arXiv (Cornell University)|2015. 07. 30.

Advanced Data Compression Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 Gibbs의 부등식을 적절히 선택한 보조 밀도 g를 사용하여 d차원 무-memory 소스의 고해상도 벡터 양자화에 대한 최소 출력 엔트로피의 하한을 유도한다. 이 하한은 왜곡이 0에 접근함에 따라 1차원 경우에 균일 양자화기의 출력 엔트로피와 渐近적으로 일치함을 보이며, 소스의 밀도함수에 연속성 또는 감쇠 조건을 요구하지 않는 바탕으로 Gish와 Pierce의 결과를 일반화한다.

ABSTRACT

Gibbs's inequality states that the differential entropy of a random variable with probability density function (pdf) $f$ is less than or equal to its cross entropy with any other pdf $g$ defined on the same alphabet, i.e., $h(X)\leq -\mathsf{E}[\log g(X)]$. Using this inequality with a cleverly chosen $g$, we derive a lower bound on the smallest output entropy that can be achieved by quantizing a $d$-dimensional source with given expected $r$th-power distortion. Specialized to the one-dimensional case, and in the limit of vanishing distortion, this lower bound converges to the output entropy achieved by a uniform quantizer, thereby recovering the result by Gish and Pierce that uniform quantizers are asymptotically optimal as the allowed distortion tends to zero. Our lower bound holds for any $d$-dimensional memoryless source that has a pdf and whose differential entropy and R\'enyi information dimension are finite. In contrast to Gish and Pierce, we do not require any additional constraints on the continuity or decay of the source pdf.

연구 동기 및 목표

• 주어진 r차 항등왜곡 제약 조건 하에서 d차원 무-memory 소스에 대한 최소로 달성 가능한 출력 엔트로피의 하한을 설정하는 것.
• 소스 밀도함수의 연속성 또는 감쇠 조건 없이 Gish와 Pierce의 균일 양자화기의 渐近적 최적성 결과를 고차원으로 일반화하는 것.
• 미분 엔트로피와 교차 엔트로피 부등식을 사용하여 고해상도 벡터 양자화의 엄밀한 정보이론적 기반을 제공하는 것.
• 유도된 하한이 왜곡이 0으로 수렴할 때 1차원 극한에서 균일 양자화기의 출력 엔트로피로 수렴함을 보여주는 것.

제안 방법

• Gibbs의 부등식 h(X) ≤ −E[log g(X)]를 적용하여 소스의 미분 엔트로피를 선택한 보조 밀도 g와의 교차 엔트로피와 연결한다.
• 보조 밀도 g를 양자화 영역 내에서 균일한 밀도로 선택하여 교차 엔트로피 항에 대한 엄밀한 통제를 가능하게 한다.
• r차 항등왜곡 제약 조건을 사용하여 기대 왜곡을 양자화기의 출력 영역과 소스 밀도함수의 곱으로 유계화한다.
• 변분법 또는 g에 대한 최적화를 활용하여 왜곡 제약 조건 하에서 교차 엔트로피 항을 최소화함으로써 출력 엔트로피의 하한을 도출한다.
• 하한을 1차원 경우에 적용하고 왜곡이 0으로 수렴할 때의 극한을 취함으로써 균일 양자화기의 출력 엔트로피를 복원한다.
• 소스의 밀도함수의 매끄러움 조건 없이도 유한한 미분 엔트로피와 Rényi 정보 차원을 가진 임의의 d차원 무-memory 소스에 대해 하한이 유효함을 입증한다.

실험 결과

연구 질문

• RQ1 정보이론적 부등식을 사용하여 고해상도 벡터 양자화에 대한 최소 출력 엔트로피의 하한을 도출할 수 있는가?
• RQ2 도출된 하한은 왜곡이 0으로 수렴하는 1차원, 저왜곡 극한에서 균일 양자화기의 출력 엔트로피로 수렴하는가?
• RQ3 소스 밀도함수의 연속성 또는 감쇠 성질을 가정하지 않고도 균일 양자화기의 渐近적 최적성을 증명할 수 있는가?
• RQ4 보조 밀도 g의 선택이 고차원 설정에서 하한의 날카로움에 어떤 영향을 미치는가?
• RQ5 하한이 고해상도 영역에서 날카로워지기 위한 소스 분포에 대한 필수 및 필요조건은 무엇인가?

주요 결과

• 이 논문은 유한한 미분 엔트로피와 Rényi 정보 차원을 가진 임의의 소스에 대해 r차 항등왜곡 제약 조건 하에서 d차원 무-memory 소스에 대한 최소 출력 엔트로피의 하한을 도출한다.
• 1차원 경우에서 하한은 왜곡이 0으로 수렴함에 따라 균일 양자화기의 출력 엔트로피로 수렴하며, Gish와 Pierce의 결과를 복원한다.
• 소스 밀도함수가 연속적이거나 유계이거나 무한대에서 감쇠할 필요 없이 하한이 유효하여 이전 결과의 적용 범위를 넓힌다.
• 균일한 보조 밀도 g를 사용한 Gibbs의 부등식 적용은 출력 엔트로피에 대해 날카롭고 해석적으로 다룰 수 있는 하한을 제공한다.
• 유도된 하한은 고해상도 영역에서 渐近적으로 날카로워지며, 이는 균일 양자화기가 이 영역에서 정보이론적으로 최적임을 시사한다.
• 이 방법은 유한한 미분 엔트로피와 Rényi 차원 이외의 분포 가정 없이도 고차원 양자화에서 비율-왜곡 하한을 도출하는 일반적인 프레임워크를 제공한다.