[논문 리뷰] Towards Empirical Sandwich Bounds on the Rate-Distortion Function

Yibo Yang, Stephan Mandt|arXiv (Cornell University)|2021. 11. 23.

Advanced Data Compression Techniques참고 문헌 59인용 수 6

한 줄 요약

이 논문은 일반적인 비이산 데이터 소스에 대해 독립 동일 분포(i.i.d.) 표본만을 사용하여 rate-distortion(R-D) 함수에 대한 최초의 경험적 샌드위치 경계를 제안한다. 제곱 오차 손실 하에서 변분 autoencoder 기반 상한과 확률적 경사상승 기반 하한 추정기의 조합을 통해 GAN으로 생성된 데이터와 실제 세계 데이터에 대해 날카운 R-D 경계를 확보하였으며, 최신 이미지 압축 기법들에 대해 최소 1 dB의 이론적 향상 잠재력이 있음을 드러냈다.

ABSTRACT

Rate-distortion (R-D) function, a key quantity in information theory, characterizes the fundamental limit of how much a data source can be compressed subject to a fidelity criterion, by any compression algorithm. As researchers push for ever-improving compression performance, establishing the R-D function of a given data source is not only of scientific interest, but also sheds light on the possible room for improving compression algorithms. Previous work on this problem relied on distributional assumptions on the data source (Gibson, 2017) or only applied to discrete data (Blahut, 1972; Arimoto, 1972). By contrast, this paper makes the first attempt at an algorithm for sandwiching the R-D function of a general (not necessarily discrete) source requiring only i.i.d. data samples. We estimate R-D sandwich bounds for a variety of artificial and real-world data sources, in settings far beyond the feasibility of any known method, and shed light on the optimality of neural data compression (Ballé et al., 2021; Yang et al., 2022). Our R-D upper bound on natural images indicates theoretical room for improving state-of-the-art image compression methods by at least one dB in PSNR at various bitrates. Our data and code can be found at https://github.com/mandt-lab/empirical-RD-sandwich.

연구 동기 및 목표

• 분포 가정 없이 일반적인 데이터 소스의 기본 rate-distortion 한계를 추정하기 위해.
• 오직 i.i.d. 데이터 표본만을 사용하여 R-D 함수의 상한과 하한을 계산하는 실용적 방법을 개발하기 위해.
• 이론적 성능 한계를 추정하여 현대적인 신경 압축 기법의 최적성 평가를 위해.
• 내재 차원성이 경계의 날카움에 영향을 미치는 핵심 요인임을 규명하기 위해.

제안 방법

• R-D 함수의 상한을 최소화하기 위해 손실 유도 확률밀도를 갖는 β-VAE를 사용하는 변분 추론 프레임워크를 제안한다.
• 이중 최적화 문제에서 유도된 하한 추정기로, 대체 목표 함수에 대해 확률적 경사상승을 적용한다.
• 다양한 λ 값에 대해 선형 근사기반 하한 추정의 국소 최대값을 구성하기 위해 선형 프로그래밍 풀이를 활용하여 하한의 날카움을 향상시킨다.
• 실제 구현을 위해 제곱 오차 손실로 제한하면서도 하한의 渐近 정확성을 유지한다.
• 상한 및 하한의 평균과 신뢰구간을 추정하기 위해 다중 실행의 몬테카를로 샘플링을 활용한다.
• 실제 음성 및 물리 시뮬레이션 데이터셋과 함께 인공 GAN 생성 데이터에 대해 방법을 적용하여 다양한 도메인에서의 강인함을 검증한다.

실험 결과

연구 질문

• RQ1 이산적이거나 비모수적 분포를 가정하지 않고도, 오직 i.i.d. 표본만을 사용하여 일반적인 알려지지 않은 데이터 소스의 rate-distortion 함수를 추정할 수 있는가?
• RQ2 실제 세계 및 인공 데이터 소스에 대해 경험적 샌드위치 경계는 어느 정도 날카운가? 그리고 그 날카움에 영향을 미치는 요인은 무엇인가?
• RQ3 현재의 신경 압축 기법들이 이론적 R-D 한계에서 얼마나 뒤처져 있으며, 향상 가능성이 얼마나 있는가?
• RQ4 데이터 소스의 내재 차원성이 하한 추정기의 품질에 어떤 영향을 미치는가?

주요 결과

• Kodak 및 Tecnick 데이터셋의 고해상도 자연 이미지에 대한 R-D 상한은 최신 이미지 압축 기법들보다 최소 1 dB의 PSNR 향상 잠재력을 보여준다.
• 제안된 방법은 GAN 생성 데이터와 실제 세계 데이터(음성 및 물리 시뮬레이션 데이터 포함) 모두에 비현저한 샌드위치 경계를 확보하였다.
• 하한 추정기의 경우 渐近 정확성이 입증되었으며, 확률적 경사상승을 통해 강인하게 최적화되었고, 신뢰구간은 신뢰할 수 있는 추정을 시사한다.
• 데이터 소스의 내재 차원성이 하한의 날카움에 영향을 미치는 핵심 요인임이 규명되었으며, 높은 차원일수록 경계가 더 느슨해진다.
• d=4인 GAN 생성 이미지에서 λ=4000일 때 추정된 하한은 6.91(90% 하한 신뢰구간)에 도달하여 강력한 일致성을 보였다.
• 상한 추정치는 여러 λ 값에서 일관된 신뢰구간을 보이며, 방법의 안정성과 신뢰성을 확인하였다.