[論文レビュー] Towards Empirical Sandwich Bounds on the Rate-Distortion Function

Yibo Yang, Stephan Mandt|arXiv (Cornell University)|Nov 23, 2021

Advanced Data Compression Techniques参考文献 59被引用数 6

ひとこと要約

本稿は、独立同分布（i.i.d.）のサンプルのみを用いて、一般の非離散的データソースにおけるレート・ディストーション（R-D）関数の最初の経験的サンドイッチ型境界を導入する。二乗誤差歪みの下で、変分オートエンコーダーに基づく上界と確率的勾配上昇に基づく下界推定器を組み合わせることで、GANによって生成されたデータおよび実世界のデータにおいてきびしいR-D境界を達成し、最先端の画像圧縮手法に対して最低でも1 dBの理論的改善の余地を明らかにした。

ABSTRACT

Rate-distortion (R-D) function, a key quantity in information theory, characterizes the fundamental limit of how much a data source can be compressed subject to a fidelity criterion, by any compression algorithm. As researchers push for ever-improving compression performance, establishing the R-D function of a given data source is not only of scientific interest, but also sheds light on the possible room for improving compression algorithms. Previous work on this problem relied on distributional assumptions on the data source (Gibson, 2017) or only applied to discrete data (Blahut, 1972; Arimoto, 1972). By contrast, this paper makes the first attempt at an algorithm for sandwiching the R-D function of a general (not necessarily discrete) source requiring only i.i.d. data samples. We estimate R-D sandwich bounds for a variety of artificial and real-world data sources, in settings far beyond the feasibility of any known method, and shed light on the optimality of neural data compression (Ballé et al., 2021; Yang et al., 2022). Our R-D upper bound on natural images indicates theoretical room for improving state-of-the-art image compression methods by at least one dB in PSNR at various bitrates. Our data and code can be found at https://github.com/mandt-lab/empirical-RD-sandwich.

研究の動機と目的

• 分布に関する仮定を一切行わず、一般のデータソースの根本的レート・ディストーション限界を推定すること。
• i.i.d. データサンプルのみを用いて、R-D関数の上界および下界を計算する実用的手法を開発すること。
• 理論的性能限界を推定することで、現代のニューラル圧縮手法の最適性を評価すること。
• データの内因的次元性が境界のきつさに与える影響を特定すること。

提案手法

• β-VAEを用いた変分推論フレームワークを提案し、歪みに起因する尤度を導入することで、R-D関数の上界を最小化する。
• 双対最適化問題に基づく下界推定器を導出。補助目的関数に対する確率的勾配上昇を用いる。
• 複数のλ値における線形下界推定器の点ごとの最大値を構築するために、線形計画法の緩和を用いる。これにより、下界のきつさが向上する。
• 実装上の実用性を確保しつつ、下界の漸近的正確性を維持するため、二乗誤差歪みに制限する。
• 複数回のモンテカルロサンプリングを用いて、上界および下界の平均値と信頼区間を推定する。
• 本手法を人工的GAN生成データおよび音声・物理学シミュレーションからの実世界データセットに適用し、分野を越えた堅牢性を検証した。

実験結果

リサーチクエスチョン

• RQ1 一般で未知のデータソースのR-D関数を、離散的またはパラメトリックな分布の仮定を一切行わず、i.i.d. サンプルのみを用いて推定可能か？
• RQ2 実世界および人工的データソースに対して、経験的サンドイッチ型境界はどの程度きついか。また、そのきつさに影響を与える要因は何か？
• RQ3 現在のニューラル圧縮手法は理論的R-D限界からどの程度離れているのか。さらなる改善の余地はどの程度あるか？
• RQ4 データソースの内因的次元性は、下界推定器の品質にどのように影響を与えるか？

主な発見

• KodakおよびTecnickデータセットからの高解像度自然画像に対するR-D上界は、最先端の画像圧縮手法よりも少なくとも1 dBのPSNR向上の理論的潜在能力を示している。
• 提案手法は、GAN生成データおよび実世界データ（音声および物理学シミュレーションデータを含む）の両方で非自明なサンドイッチ型境界を達成した。
• 下界推定器は漸近的正確性を示し、確率的勾配上昇による安定的最適化が可能であり、信頼区間から推定の信頼性が裏付けられた。
• データソースの内因的次元性が下界のきつさに大きな要因であることが同定され、次元が高いほど境界がゆるくなる傾向を示した。
• d=4のGAN生成画像において、λ=4000のとき、推定された下界は6.91（90%下位信頼区間）に達しており、強い一貫性を示した。
• 上界推定値は複数のλ値において一貫した信頼区間を示しており、本手法の安定性および信頼性を確認した。