[논문 리뷰] Gaussian Rate-Distortion via Sparse Regression over Compact Dictionaries

Ramji Venkataramanan, Antony Joseph외 1명|arXiv (Cornell University)|2012. 02. 03.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 정규 분포를 따르는 i.i.d. 소스에 대해 제곱오차 손실함수 하에서 손실 압축을 위한 희소 회귀 코드—작은 설계 행렬의 열 부분집합의 선형 조합—를 제안한다. 고차원 회귀 원리들을 활용하여, 임계값 이하의 모든 오차에 대해 샤논의 비율-왜곡 함수를 달성하며, 최적의 오차 지수를 확보한다. 이는 분산이 낮은 에르고딕 소스에 대해서도 강건성을 유지한다.

ABSTRACT

We study a new class of codes for lossy compression with the squared-error distortion criterion, designed using the statistical framework of high-dimensional linear regression. Codewords are linear combinations of subsets of columns of a design matrix. Called a Sparse Superposition or Sparse Regression codebook, this structure is motivated by an analogous construction proposed recently by Barron and Joseph for communication over an AWGN channel. For i.i.d Gaussian sources and minimum-distance encoding, we show that such a code can attain the Shannon rate-distortion function with the optimal error exponent, for all distortions below a specified value. It is also shown that sparse regression codes are robust in the following sense: a codebook designed to compress an i.i.d Gaussian source of variance $\sigma^2$ with (squared-error) distortion $D$ can compress any ergodic source of variance less than $\sigma^2$ to within distortion $D$. Thus the sparse regression ensemble retains many of the good covering properties of the i.i.d random Gaussian ensemble, while having having a compact representation in terms of a matrix whose size is a low-order polynomial in the block-length.

연구 동기 및 목표

• 압축 성능 보장이 강력하고 표현이 간결한 새로운 손실 압축 코드의 클래스를 개발하기 위해.
• 고차원 선형 회귀의 통계적 프레임워크를 확장하여 손실 소스 압축을 위한 코드북을 설계하기 위해.
• i.i.d. 정규 분포 소스에 대해 샤논의 비율-왜곡 함수를 최적의 오차 지수로 달성하기 위해.
• 설계 분산 이하의 분산을 가진 에르고딕 소스 전반에 걸쳐 코드북의 강건성을 확보하기 위해.

제안 방법

• 고정된 작고 컴팩트한 설계 행렬의 열들로부터 희소 선형 조합으로 코드북을 구성하기 위해.
• 소스 벡터를 코드북 내 가장 가까운 코드워드로 매핑하기 위해 최소거리 인코딩을 사용하기 위해.
• 코드북 성능 분석을 위해 고차원 선형 회귀의 통계적 프레임워크를 활용하기 위해.
• 사전 행렬의 크기가 블록 길이의 저차수 다항식 비례로 증가하도록 설계하여 압축된 표현을 가능하게 하기 위해.
• 성능 한계를 유도하기 위해 랜덤 행렬 이론과 고차원 통계의 이론적 도구를 적용하기 위해.
• 구조화된 사전에도 불구하고 전체 무작위 코드북과 유사한 좋은 커버링 성질을 유지하기 위해.

실험 결과

연구 질문

• RQ1 희소 회귀 코드북은 i.i.d. 정규 분포 소스에 대해 샤논의 비율-왜곡 함수를 최적의 오차 지수로 달성할 수 있는가?
• RQ2 커버링 성능과 오차 지수 측면에서 희소 회귀 코드는 전통적인 무작위 정규 분포 코드북보다 어떻게 비교되는가?
• RQ3 희소 회귀 코드는 설계 분산 이하의 분산을 가진 소스 분포에 대해 어느 정도 강건한가?
• RQ4 압축된 사전 표현 방식은 전체 무작위 코드북이 지닌 양호한 커버링 성질을 유지할 수 있는가?
• RQ5 비율-왜곡 및 오차 지수 측면에서 코드북 크기와 성능 간의 상호 교환 관계는 어떠한가?

주요 결과

• 희소 회귀 코드는 특정 임계값 이하의 모든 오차에 대해 샤논의 비율-왜곡 함수를 최적의 오차 지수로 달성한다.
• 코드는 강건하다: 분산이 $\sigma^2$인 i.i.d. 정규 분포 소스를 위해 설계된 코드북은 분산 $\leq \sigma^2$인 임의의 에르고딕 소스를 오차 $D$ 이내로 압축할 수 있다.
• 코드북은 블록 길이의 다항식 비례 크기의 행렬로 표현되어 전체 무작위 코드북에 비해 압축된 저장을 가능하게 한다.
• 구조화된 사전에도 불구하고 전체 i.i.d. 정규 분포 무작위 코드북과 유사한 유리한 커버링 성질을 유지한다.
• 성능 분석은 고차원 회귀 도구를 통해 이루어져 비율-왜곡 및 오차 지수에 대한 이론적 보장을 확립한다.
• 사전 크기의 지수적 증가 없이도 최적의 트레이드오프를 달성하여 실용적으로 타당한 방법이다.