[논문 리뷰] Semantic Compression with Side Information: A Rate-Distortion Perspective

Tao Guo, Yizhu Wang외 4명|arXiv (Cornell University)|2022. 08. 12.

Advanced Data Compression Techniques인용 수 8

한 줄 요약

이 논문은 비디오의 내부 및 상호 프레임 상관관계로부터 유도되는 측면 정보를 고려하여 의미 압축의 정보이론적 한계를 설정한다. 인코더와 디코더가 모두 측면 정보에 접근할 수 있는 비율-왜곡 프레임워크를 제안하며, 전체 소스를 재구성하는 것보다 의미 정보만 압축할 경우, 특히 가우시안 및 이진 마르코프 모델 하에서 압축 비율을 감소시킬 수 있음을 보여준다. 다양한 시나리오, 예를 들어 이진 분류 및 가우시안 소스에 대해 정확한 비율-왜곡 함수를 유도하였다.

ABSTRACT

We consider the semantic rate-distortion problem motivated by task-oriented video compression. The semantic information corresponding to the task, which is not observable to the encoder, shows impacts on the observations through a joint probability distribution. The similarities among intra-frame segments and inter-frames in video compression are formulated as side information available at both the encoder and the decoder. The decoder is interested in recovering the observation and making an inference of the semantic information under certain distortion constraints. We establish the information-theoretic limits for the tradeoff between compression rates and distortions by fully characterizing the rate-distortion function. We further evaluate the rate-distortion function under specific Markov conditions for three scenarios: i) both the task and the observation are binary sources; ii) the task is a binary classification of an integer observation as even and odd; iii) Gaussian correlated task and observation. We also illustrate through numerical results that recovering only the semantic information can reduce the coding rate comparing to recovering the source observation.

연구 동기 및 목표

• 임무 지향 비디오 코딩을 의미 비율-왜곡 문제로 모델링하며, 인코더와 디코더가 모두 측면 정보를 확보할 수 있도록 한다.
• 소스 관측치와 의미 정보를 모두 복구하는 데 있어 압축 비율과 왜곡 사이의 기본적인 상호 교환 관계를 규명한다.
• 특정 마르코프 및 가우시안 모델 하에서 비율-왜곡 함수를 평가하여 의미 정보만 복구함으로써 얻는 이점을 정량화한다.
• 같은 왜곡 제약 조건 하에서 전체 소스 재구성보다 의미 정보만 복구하는 것이 더 낮은 코딩 비율을 달성할 수 있음을 보여준다.

제안 방법

• 디코더가 별도의 왜곡 제약 조건 하에 소스와 의미 정보를 모두 재구성해야 하는 공동 소스 및 의미 코딩 모델을 수립한다.
• 프레임 내 및 프레임 간 상관관계에서 유도된 측면 정보를 도입하며, 이를 인코더와 디코더가 모두 관측하는 공통 랜덤 변수로 모델링한다.
• 측면 정보가 주어진 조건부 의미 정보의 비율-왜곡 함수를 유도하며, 상호정보량과 최소평균제곱오차(MMSE) 추정을 활용한다.
• 측면 정보가 주어진 조건 하에서 조건부 독립일 경우 소스 부분의 별도 압축이 최적임을 입증한다.
• 가우시안 및 이진 마르코프 모델을 사용하여 비율-왜곡 함수를 분석적으로 평가하며, 상한 및 하한을 포함한다.
• 다양한 왜곡 영역에 맞는 명시적 코딩 전략을 제안함으로써 타당성을 입증한다.

실험 결과

연구 질문

• RQ1 측면 정보가 존재하고 임무를 위해 의미 정보만 복구할 경우, 소스를 압축할 때의 기본적인 비율-왜곡 상호 교환 관계는 무엇인가?
• RQ2 프레임 내 및 프레임 간 상관관계에서 유도된 측면 정보의 존재는 의미 복구를 위한 가능한 압축 비율에 어떤 영향을 미치는가?
• RQ3 의미 정보만 압축하는 것이 동일한 왜곡 제약 조건 하에서 전체 소스 재구성보다 더 낮은 코딩 비율을 제공할 수 있는가?
• RQ4 측면 정보 및 의미 추론 조건 하에서 이진 및 가우시안 모델의 정확한 비율-왜곡 함수는 무엇인가?
• RQ5 측면 정보가 존재할 경우 소스 부분의 별도 압축이 최적일 조건은 무엇인가?

주요 결과

• 마르코프 구조를 가진 이진 소스의 경우 비율-왜곡 함수가 완전히 규명되었으며, 전체 소스 재구성보다 의미 정보만 복구할 경우 코딩 비율이 감소함을 보여준다.
• 이산 정수 소스의 홀짝성 분류 시나리오(예: 홀수/짝수)에서 비율-왜곡 함수가 유도되었으며, 수치 결과는 의미 정보만 복구할 경우 비율 감소를 확인한다.
• 가우시안 소스의 경우 비율-왜곡 함수는 $ R(D_1, D_2, D_s) = \max\left(R_{X_1|Y}(D_1), R_{S|Y}(D_s)\right) + R_{X_2|Y}(D_2) $ 로 유도되었으며, 분산과 상호정보량을 포함한 정확한 표현식이 포함되어 있다.
• 만약 $ D_s \geq \text{mmse} + \frac{\sigma_{SX_1}^2 \sigma_{X_1|Y}}{\sigma_{X_1}^2} $ 라면, 의미 비율-왜곡 함수 $ R_{S|Y}(D_s) $ 는 0이 되며, 의미 복구에 대한 비율이 필요 없음을 나타낸다.
• 가우시안 케이스에서 $ R_{S|Y}(D_s) $ 의 하한 및 상한이 정확히 일치하여, 유도된 표현식 $ R_{S|Y}(D_s) = \frac{1}{2}\left(\log\frac{\sigma_{SX_1}^2 \sigma_{X_1|Y}}{\sigma_{X_1}^2 (D_s - \text{mmse})}\right)^+ $ 가 타당함을 증명한다.
• 왜곡 제약 조건에 따라 $ X_1 $ 과 $ X_2 $ 를 먼저 재구성한 후 $ \hat{S} $ 를 유도하거나, $ \hat{S} $ 와 $ X_2 $ 를 먼저 재구성한 후 $ \hat{X}_1 $ 을 유도하는 코딩 전략을 구성함으로써 타당성이 입증되었다.