[논문 리뷰] Achieving the Quadratic Gaussian Rate-Distortion Function for Source Uncorrelated Distortions

Milan S. Derpich, Jan Østergaard외 1명|ArXiv.org|2008. 01. 11.

Advanced Data Compression Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 무한 차원 극한에서 형태 조절된 양자화된 격자 양자화를 사용할 때, 소스에 상관되지 않는 왜곡 제약 조건 하에서의 이차 가우시안 비율-왜곡 함수 $ R^{\bot}(D) $ 가 달성될 수 있음을 증명한다. 주요 결과는 기억 없는 엔트로피 코딩을 사용하는 인과적 피드백 양자화가 $ R^{\bot}(D) $ 를 달성하며, 양자화기의 공간 점유 손실로 인해 유한 차원에서의 비율 손실이 최대 0.254 비트/차원으로 유계임을 보여준다.

ABSTRACT

We prove achievability of the recently characterized quadratic Gaussian rate-distortion function (RDF) subject to the constraint that the distortion is uncorrelated to the source. This result is based on shaped dithered lattice quantization in the limit as the lattice dimension tends to infinity and holds for all positive distortions. It turns out that this uncorrelated distortion RDF can be realized causally. This feature, which stands in contrast to Shannon's RDF, is illustrated by causal transform coding. Moreover, we prove that by using feedback noise shaping the uncorrelated distortion RDF can be achieved causally and with memoryless entropy coding. Whilst achievability relies upon infinite dimensional quantizers, we prove that the rate loss incurred in the finite dimensional case can be upper-bounded by the space filling loss of the quantizer and, thus, is at most 0.254 bit/dimension.

연구 동기 및 목표

• 종단 간 왜곡이 소스 신호와 상관되지 않아야 할 경우의 기본 비율-왜곡 한계를 규명하는 것.
• 왜곡이 소스와 상관될 수 있다고 가정하는 셰너의 고전적 비율-왜곡 이론에서 발생하는 격차를 해결하는 것.
• 가우시안 소스에 대해 상관되지 않는 왜곡 제약 조건 하에서 새로운 달성 가능한 비율-왜곡 함수 $ R^{\bot}(D) $ 를 수립하는 것.
• 이러한 새로운 왜곡 제약 조건을 인과적 피드백 양자화 및 기억 없는 엔트로피 코딩을 통해 달성할 수 있음을 보여주는 것.
• 이deal한 무한 차원 양자화기 대비 유한 차원 양자화기를 사용할 경우 발생하는 비율 손실을 정량화하는 것.

제안 방법

• 저자들은 파wer 스펙트럼 밀도(PSD) 분해를 통해 $ R^{\bot}(D) $ 의 매개변수 형태를 유도하며, 왜곡 PSD $ S_Z(\omega) $ 를 제어하는 데 사용되는 매개변수 $ \alpha $ 를 도입한다.
• 무한 차원 격자 차원의 점점 증가하는 극한에서 형태 조절된 양자화된 격자 양자화를 통해 달성 가능성을 증명하며, 이로 인해 양자화 노이즈가 가우시안 i.i.d. 시퀀스와 유사해짐을 보장한다.
• 재구성 오차가 소스와 상관되지 않는 인과적 피드백 양자화 아키텍처를 구성하여 $ R^{\bot}(D) $ 제약 조건을 충족시킨다.
• 피드백 노이즈 형상 조절을 통해 왜곡 PSD를 필요한 $ S_Z(\omega) $ 와 일치시켜, $ R^{\bot}(D) $ 의 인과적 실현 가능성을 확보한다.
• 양자화 출력에 기억 없는 엔트로피 코딩을 적용하고, 입력과 출력 간의 스칼라 상호정보량이 $ R^{\bot}(D) $ 와 동일함을 보여준다.
• 격자 양자화기의 공간 점유 손실을 사용하여 유한 차원 양자화에 의한 비율 손실을 상한으로 제시하여, 0.254 비트/차원의 날카운 유계를 도출한다.

실험 결과

연구 질문

• RQ1 왜곡이 소스 신호와 상관되지 않아야 할 경우, 이차 가우시안 비율-왜곡 함수를 달성할 수 있는가?
• RQ2 셰너의 고전적 RDF가 비인과적이라는 점을 감안할 때, $ R^{\bot}(D) $ 는 인과적으로 달성 가능한가?
• RQ3 이상적인 무한 차원 양자화기 대비 유한 차원 양자화된 격자 양자화기를 사용할 경우 발생하는 비율 손실은 얼마인가?
• RQ4 기억 없는 엔트로피 코딩을 동반한 피드백 양자화는 $ R^{\bot}(D) $ 를 유계 비율 손실로 달성할 수 있는가?
• RQ5 최적 해에서 왜곡 스펙트럼 밀도 $ S_Z(\omega) $ 는 소스 스펙트럼 밀도 $ S_X(\omega) $ 와 매개변수 $ \alpha $ 와 어떻게 관련이 있는가?

주요 결과

• 상관되지 않는 왜곡 비율-왜곡 함수 $ R^{\bot}(D) $ 는 무한 차원 극한에서 형태 조절된 양자화된 격자 양자화를 통해 달성 가능하다.
• 최적의 왜곡 스펙트럼 밀도는 $ S_Z(\omega) = \frac{1}{2} \left( \sqrt{S_X(\omega) + \alpha} - \sqrt{S_X(\omega)} \right) \sqrt{S_X(\omega)} $ 로 주어지며, 이는 상관되지 않는 왜곡을 보장한다.
• 노이즈 형상 조절을 동반한 인과적 피드백 양자화는 $ R^{\bot}(D) $ 를 달성할 수 있으며, 이는 셰너의 고전적 RDF 프레임워크에서는 실현 불가능한 특성이다.
• 기억 없는 엔트로피 코딩은 피드백 양자화 및 도핑과 조합될 경우 $ R^{\bot}(D) $ 를 달성하는 데 충분하다.
• 유한 차원 양자화된 격자 양자화에 의한 비율 손실은 0.254 비트/차원 이하로 상한이 제시되며, 이는 격자 양자화기의 공간 점유 손실에 해당한다.
• 양자화기의 입력과 출력 간 스칼라 상호정보량은 $ R^{\bot}(D) $ 와 동일하며, 이는 주어진 조건 하에서의 달성 가능성을 확인한다.