[논문 리뷰] Compress and Estimate in Multiterminal Source Coding

Alon Kipnis, Stefano Rini외 1명|arXiv (Cornell University)|2016. 02. 06.

Wireless Communication Security Techniques참고 문헌 15인용 수 4

한 줄 요약

이 논문은 다단계 원격 소스 코딩을 위한 압축-추정(CE) 방식을 제안한다. 여기서 분산된 인코더들은 소스의 노이즈 있는 관측치를 압축하여 국소적 왜곡을 최소화하고, 중앙 추정기가 인코더 출력을 이용해 소스를 재구성한다. 주요 기여는 기억이 없는 채널에서 동일분포(i.i.d.) 소스에 대해 CE 왜곡-비율 함수(CE-DRF)의 단일문자 특성화를 제공하는 것으로, 이는 최적임을 증명하였으며, 이중 및 이진 소스에 대해 각각 제곱 및 히프링 왜곡 하에서 닫힌 형태의 표현식을 유도하였다.

ABSTRACT

We consider a multiterminal remote source coding problem in which a source sequence is estimated from the output of multiple source encoders, each having access only to a noisy observation of the source realization. Each remote encoder compresses its noisy observation sequence so as to minimize a local distortion measure which depends only on the distribution of its observed sequence, and is otherwise independent from the distribution of the underlying source. The latter is estimated at a central location from the output of each of the remote encoders. This source compression and estimation scenario leads to an achievable scheme for the remote multiterminal source coding problem which we term the compress-and-estimate (CE) scheme. For the case of a source with independently and identically distributed (i.i.d) elements observed through multiple memoryless channels, we derive a single-letter expression for the distortion in the CE scheme, which we refer to as the CE distortion-rate function (CE-DRF). We prove that the CE-DRF can be achieved by estimating the source realization from the output of any set of encoders, as long as each encoder attains its local rate-distortion function. We prove in addition a converse result saying that, for large enough blocklength, the distortion in estimating a finite sub-block of the source from the output of such encoders, averaged over all sub-blocks, does not exceed the CE-DRF. Finally, we derive closed-form expressions for the CE-DRF in the case of a Gaussian source observed through multiple AWGN channels under quadratic distortion, and for the case of a binary source observed through multiple biflip channels under Hamming distortion.

연구 동기 및 목표

• 인코더들이 소스의 노이즈 있는 복사본을 관측하고 국소적 왜곡 제약 조건 하에서 이를 압축해야 하는 원격 다단계 소스 코딩 문제를 다루는 것.
• 압축된 관측치를 이용해 중앙 디코더에서 정확한 소스 추정을 가능하게 하는 통합적 방식인 압축-추정(CE)을 개발하는 것.
• i.i.d. 소스에 대해 단일문자 표현식인 CE 왜곡-비율 함수(CE-DRF)를 통해 이 설정에서의 왜곡의 기본 한계를 특성화하는 것.
• 각 인코더가 자신의 국소적 비율-왜곡 함수를 달성할 경우 CE-DRF가 실현 가능하며, 큰 블록 길이에서 이는 상한 경계 역할을 함을 증명하는 것.
• 특정 소스 및 채널 모델 하에서 CE-DRF의 닫힌 형태 표현식을 유도하는 것: 제곱 왜곡 하에서 가우시안 소스와 AWGN 채널, 히프링 왜곡 하에서 이진 소스와 비플립 채널

제안 방법

• CE 방식은 압축과 추정을 분리한다: 각 원격 인코더는 소스 분포에 무관하게 국소적 왜곡 측도를 최소화하도록 자신의 노이즈 있는 관측치를 압축한다.
• 중앙 추정기는 모든 인코더의 출력을 이용해 소스를 재구성하며, 압축된 데이터를 추정을 위한 충분통계량으로 간주한다.
• i.i.d. 소스가 기억이 없는 채널을 통해 관측될 경우, 정보이론적 기법을 사용해 CE-DRF에 대한 단일문자 표현식을 유도한다.
• 이 방식은 큰 블록 길이에서 평균 왜곡이 부분 블록을 초과할 수 없음을 보여, 이는 CE-DRF가 상한 경계임을 의미한다.
• 제곱 및 히프링 왜곡 척도 하에서 상호정보량과 발산 측도를 사용해 CE-DRF의 닫힌 형태 표현식을 유도한다.
• 메모리 없는 채널의 구조와 소스 기호의 독립성을 활용해 왜곡 특성화를 단순화한다.

실험 결과

연구 질문

• RQ1 분산 압축 및 추정 전략이 다단계 원격 소스 코딩에서 기본 왜곡 한계에 도달할 수 있는가?
• RQ2 i.i.d. 소스에 대해 압축-추정 방식이 달성 가능한 왜곡에 대해 단일문자 특성화가 존재하는가?
• RQ3 소스의 유한한 부분 블록을 추정할 때 큰 블록 길이에서 CE-DRF가 상한 경계 역할을 하는가?
• RQ4 제곱 왜곡 하에서 다수의 AWGN 채널을 통해 관측된 가우시안 소스에 대해 CE-DRF의 명시적 형태는 무엇인가?
• RQ5 히프링 왜곡 하에서 다수의 비플립 채널을 통해 관측된 이진 소스에 대해 CE-DRF는 무엇인가?

주요 결과

• 기억이 없는 채널을 통해 관측된 i.i.d. 소스에 대해 CE-DRF가 단일문자 표현식으로 도출되었으며, 이는 압축-추정 방식의 기본 한계를 제공한다.
• 각 원격 인코더가 자신의 국소적 비율-왜곡 함수를 달성할 경우, 소스 분포에 관계없이 CE-DRF는 실현 가능하다.
• 큰 블록 길이에서 소스의 유한한 부분 블록에 대한 평균 왜곡은 CE-DRF를 초과할 수 없으며, 이는 상한 결과를 보여준다.
• 다수의 AWGN 채널을 통해 관측된 가우시안 소스에 대해 CE-DRF는 신호 대 잡음비 및 인코더 수를 포함한 닫힌 형태의 표현식으로 주어진다.
• 다수의 비플립 채널을 통해 관측된 이진 소스에 대해 히프링 왜곡 하에서 CE-DRF는 닫힌 형태로 유도되었으며, 이는 오류 확률과 인코더 비율을 반영한다.
• CE-DRF가 날카롭고 최적임을 입증하였으며, 동일한 인코더 제약 조건 하에서 더 낮은 왜곡을 달성할 수 있는 어떤 방식도 존재하지 않음을 보였다.