[논문 리뷰] On Lossless Universal Compression of Distributed Identical Sources

Ahmad Beirami, Faramarz Fekri|arXiv (Cornell University)|2012. 06. 19.

Wireless Communication Security Techniques참고 문헌 15인용 수 5

한 줄 요약

이 논문은 통신할 수 없는 두 개의 공간적으로 분리된 동일한 소스로부터 유한 길이의 시퀀스를 손실 없이 압축하기 위한 프레임워크인 분산 동일 소스의 통합 압축(UC-DIS)을 제안한다. 인코더 간 통신이 불가능한 상황에서, 디코더가 한 소스로부터 기억된 시퀀스에 접근할 수 있음을 활용하여, 매개변수 추정과 타원체 인코딩을 통해 중복을 크게 감소시키는 DUCompM 인코딩 전략을 제안한다. 이는 디코더의 무한한 기억력이 있더라도 기존의 보편적 압축 방식보다 엄밀한 성능 향상을 보이며, 특히 유한 길이 제약 조건 하에서도 유의미한 성능 향상을 달성한다.

ABSTRACT

Slepian-Wolf theorem is a well-known framework that targets almost lossless compression of (two) data streams with symbol-by-symbol correlation between the outputs of (two) distributed sources. However, this paper considers a different scenario which does not fit in the Slepian-Wolf framework. We consider two identical but spatially separated sources. We wish to study the universal compression of a sequence of length $n$ from one of the sources provided that the decoder has access to (i.e., memorized) a sequence of length $m$ from the other source. Such a scenario occurs, for example, in the universal compression of data from multiple mirrors of the same server. In this setup, the correlation does not arise from symbol-by-symbol dependency of two outputs from the two sources. Instead, the sequences are correlated through the information that they contain about the unknown source parameter. We show that the finite-length nature of the compression problem at hand requires considering a notion of almost lossless source coding, where coding incurs an error probability $p_e(n)$ that vanishes with sequence length $n$. We obtain a lower bound on the average minimax redundancy of almost lossless codes as a function of the sequence length $n$ and the permissible error probability $p_e$ when the decoder has a memory of length $m$ and the encoders do not communicate. Our results demonstrate that a strict performance loss is incurred when the two encoders do not communicate even when the decoder knows the unknown parameter vector (i.e., $m o \infty$).

연구 동기 및 목표

• 통신이 불가능한 두 개의 공간적으로 분리된 동일한 소스로부터 유한 길이의 시퀀스를 압축하는 문제에 대응하기 위해.
• 기호 간 상관관계를 일대일 종속성으로 모델링하는 대신, 공통된 알려지지 않은 소스 매개변수를 통해 모델링하기 위해.
• 보편적 압축에서 디코더 측의 학습 데이터(기억된 시퀀스)가 제공하는 성능 향상을 정량화하기 위해.
• 유한 길이 제약 조건 하에서 거의 손실 없는 압축에 대한 최소 최대 중복의 경계를 유도하기 위해.
• 통신이 없는 인코더가 디코더 측 정보를 통해조차도, 비록 점점 무한한 기억력이 있더라도 여전히 성능 향상을 얻을 수 있음을 보여주기 위해.

제안 방법

• 디코더가 한 소스로부터 기억한 시퀀스에 접근할 수 있음을 활용하여, 다른 소스로부터 새로운 시퀀스를 압축할 때 중복을 줄이는 새로운 인코딩 전략인 DUCompM을 제안한다.
• 모르는 소스 매개변수를 최대우도추정법(MLE)을 사용하여 모델링하고, MLE의 평균과 피셔 정보로 스케일된 역공분산행렬을 갖는 가우시안 분포로 후행 분포를 근사한다.
• 모수 $\mathcal{S}_n(y^m, p_e)$ 는 MLE 추정치 $\hat{\theta}_Y$ 하에서 후행 확률의 최소 1 - $p_e$ 를 포함하는 최소 르베그 체적의 타원체로 정의된다.
• 불완전 감마 함수를 사용하여 허용 가능한 오차 확률 $p_e$ 를 기반으로 타원체 경계를 정의하는 임계값 $\delta_d(p_e)$ 를 결정한다.
• 제프리스의 사전을 적용하여 타원체의 확률 측도 $P_{\mathcal{S}}(p_e)$ 를 계산하며, 이는 이 인코딩 전략을 통한 중복 감소 가능성을 정량화한다.
• 타원체의 로그 측도를 분석하여 평균 최소 최대 중복의 상한을 도출하며, 이는 $-\log P_{\mathcal{S}}(p_e)$ 비례함을 보여준다.

실험 결과

연구 질문

• RQ1 공간적으로 분리된 동일한 소스로부터 기억된 시퀀스에 접근할 수 있는 디코더가 새로운 시퀀스의 보편적 압축에서 중복을 줄일 수 있는가?
• RQ2 인코더 간 통신이 없는 상황에서, 디코더 측의 학습 데이터가 유한 길이의 보편적 압축에서 성능 향상을 가져올 수 있는가?
• RQ3 두 동일한 소스가 인코더 간 통신 없이 압축되지만 디코더 측 정보가 제공될 경우, 중복 감소의 기본 한계는 무엇인가?
• RQ4 유한 길이 및 오차 확률 제약 조건 하에서, 제안된 DUCompM 전략의 성능은 기존의 보편적 압축 방식과 비교해 어떻게 되는가?
• RQ5 인코더 간 통신이 없더라도, 디코더가 다른 소스의 시퀀스를 무한히 기억하고 있더라도 여전히 엄밀한 성능 손실이 발생하는가?

주요 결과

• DUCompM 인코딩 전략은 동일한 소스로부터 디코더가 기억한 시퀀스에 접근할 수 있음을 활용하여 평균 최소 최대 중복을 크게 감소시킨다.
• 중복 감소는 타원체 인코딩 집합의 확률 측도 $P_{\mathcal{S}}(p_e)$ 로 정량화되며, 이는 시퀀스 길이 $n$ 과 $m$, 오차 확률 $p_e$, 그리고 피셔 정보에 의존한다.
• 중복 감소의 경계는 $-\log P_{\mathcal{S}}(p_e) \propto \frac{d}{2} \log \left( \frac{1}{p_e} \right)$ 와 같이 스케일되며, 이는 오차 확률과 차원 수가 성능에 직접적인 영향을 미친다는 것을 보여준다.
• 무한히 긴 $m \to \infty$ 의 극한에서도 인코더 간 통신이 없을 경우 여전히 엄밀한 성능 손실이 존재하므로, 분산 인코딩의 비용을 디코더 측 정보만으로는 제거할 수 없다는 것을 의미한다.
• 합리적인 오차 확률 하에서, 제안된 방법은 기존의 보편적 압축 방식보다 훨씬 뛰어난 성능을 보이며, DUCompM의 실용적 유용성을 검증한다.
• MLE와 피셔 정보를 기반으로 한 타원체 인코딩 전략은 이 분산 환경에서 거의 최적의, 정보이론적으로 탄탄한 중복 감소 접근법을 제공한다.