[論文レビュー] Semantic Compression with Side Information: A Rate-Distortion Perspective

Tao Guo, Yizhu Wang+4 more|arXiv (Cornell University)|Aug 12, 2022

Advanced Data Compression Techniques被引用数 8

ひとこと要約

この論文は、動画内のフレーム内およびフレーム間相関から得られるサイド情報を利用したセマンティック圧縮の情報理論的限界を確立する。エンコーダーとデコーダーの両方がサイド情報を有する率歪みフレームワークを定式化し、特にガウス分布および2値マルコフモデル下で、完全なソースを再構築するのと比較して、セマンティック情報のみを圧縮することで符号化レートを低減できることを示している。複数のシナリオ、例えば2値分類やガウス源について、正確な率歪み関数が導出されている。

ABSTRACT

We consider the semantic rate-distortion problem motivated by task-oriented video compression. The semantic information corresponding to the task, which is not observable to the encoder, shows impacts on the observations through a joint probability distribution. The similarities among intra-frame segments and inter-frames in video compression are formulated as side information available at both the encoder and the decoder. The decoder is interested in recovering the observation and making an inference of the semantic information under certain distortion constraints. We establish the information-theoretic limits for the tradeoff between compression rates and distortions by fully characterizing the rate-distortion function. We further evaluate the rate-distortion function under specific Markov conditions for three scenarios: i) both the task and the observation are binary sources; ii) the task is a binary classification of an integer observation as even and odd; iii) Gaussian correlated task and observation. We also illustrate through numerical results that recovering only the semantic information can reduce the coding rate comparing to recovering the source observation.

研究の動機と目的

• タスク指向型動画符号化を、エンコーダーとデコーダーに共通のサイド情報を有するセマンティック率歪み問題としてモデル化すること。
• ソース観測値とセマンティック情報を両方回復する際の、符号化レートと歪みの根本的トレードオフを特定すること。
• 特定のマルコフモデルおよびガウスモデル下での率歪み関数を評価し、セマンティック情報のみの回復による利得を定量化すること。
• 同じ歪み制約下で、完全なソース再構築よりもセマンティック情報のみを回復する方が低い符号化レートを達成できることを示すこと。

提案手法

• デコーダーが別々の歪み制約下でソースとセマンティック情報を両方再構築する必要がある、共同ソースおよびセマンティック符号化モデルを定式化する。
• フレーム内およびフレーム間相関から得られるサイド情報を、エンコーダーとデコーダーの両方が観測する共通の確率変数としてモデル化する。
• サイド情報が与えられたもとでのセマンティック情報の条件付き率歪み関数を導出する。この際、相互情報量とMMSE推定を活用する。
• サイド情報が与えられたもとで、ソース部の分離符号化が最適となる条件（条件付き独立性を満たす場合）を確立する。
• ガウス分布および2値マルコフモデルを用いて、率歪み関数を解析的に評価し、上界と下界を導出する。
• 異なる歪み領域に対応する明示的な符号化戦略を構築することで、達成可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 サイド情報を有するソースを圧縮し、タスクのためのセマンティック情報のみを回復する場合、根本的な率歪みトレードオフは何か？
• RQ2 フレーム内およびフレーム間相関から得られるサイド情報の存在が、セマンティック回復のための達成可能な符号化レートにどのように影響するか？
• RQ3 完全なソース再構築よりも、セマンティック情報のみを圧縮することで、低い符号化レートを達成できるか？
• RQ4 サイド情報とセマンティック推定を伴う2値およびガウス分布モデルにおける正確な率歪み関数は何か？
• RQ5 サイド情報が利用可能である場合、ソース部の分離符号化が最適となる条件は何か？

主な発見

• 2値マルコフ構造を有するソースに対しては、率歪み関数が完全に特定され、セマンティック情報のみの回復が完全なソース再構築よりも符号化レートを低減することを示している。
• 2値分類のシナリオ（整数ソースの偶数／奇数）において、率歪み関数が導出され、数値的結果がセマンティック情報のみの回復によるレート低減を確認している。
• ガウス源の場合、率歪み関数は $ R(D_1, D_2, D_s) = \max\left(R_{X_1|Y}(D_1), R_{S|Y}(D_s)\right) + R_{X_2|Y}(D_2) $ として与えられ、分散および相互情報量を含む正確な式が得られている。
• 条件 $ D_s \geq \text{mmse} + \frac{\sigma_{SX_1}^2 \sigma_{X_1|Y}}{\sigma_{X_1}^2} $ を満たす場合、セマンティックの率歪み関数 $ R_{S|Y}(D_s) $ はゼロとなり、セマンティック回復に符号化レートが不要であることを示している。
• ガウス分布の場合、$ R_{S|Y}(D_s) $ の下界と上界が完全に一致し、導出された式 $ R_{S|Y}(D_s) = \frac{1}{2}\left(\log\frac{\sigma_{SX_1}^2 \sigma_{X_1|Y}}{\sigma_{X_1}^2 (D_s - \text{mmse})}\right)^+ $ がタイトであることが証明された。
• 符号化戦略の構築により達成可能性が証明されており、歪み制約に応じて、$ X_1 $ と $ X_2 $ をまず再構築してから $ \hat{S} $ を導出する、または $ \hat{S} $ と $ X_2 $ をまず再構築してから $ \hat{X}_1 $ を導出する、という2通りの戦略が有効である。