[논문 리뷰] Exponent Function for Source Coding with Side Information at the Decoder at Rates below the Rate Distortion Function

Yasutada Oohama|arXiv (Cornell University)|2016. 01. 21.

Wireless Communication Security Techniques참고 문헌 8인용 수 12

한 줄 요약

이 논문은 압축률이 레이트-왜곡 함수 이하일 때 디코더에 부가 정보가 있는 웨이너-지브 소스 코딩의 오차 지수를 확립한다. 초과 왜곡 확률의 지수적 감쇠 속도에 대한 명시적 하한을 도출하고, 이를 통해 강한 역전제 정리를 보조 정리로 증명함으로써 분산 소스 코딩 분야에서 오랫동안 남아 있던 열린 문제를 해결한다.

ABSTRACT

We consider the rate distortion problem with side information at the decoder posed and investigated by Wyner and Ziv. The rate distortion function indicating the trade-off between the rate on the data compression and the quality of data obtained at the decoder was determined by Wyner and Ziv. In this paper, we study the error probability of decoding at rates below the rate distortion function. We evaluate the probability of decoding such that the estimation of source outputs by the decoder has a distortion not exceeding a prescribed distortion level. We prove that when the rate of the data compression is below the rate distortion function this probability goes to zero exponentially and derive an explicit lower bound of this exponent function. On the Wyner-Ziv source coding problem the strong converse coding theorem has not been established yet. We prove this as a simple corollary of our result.

연구 동기 및 목표

• 압축률이 레이트-왜곡 함수 이하일 때 웨이너-지브 소스 코딩의 복원 오차 확률을 분석하는 것.
• 이 영역에서 초과 왜곡 확률의 지수적 감쇠 속도(오차 지수)에 대한 명시적 하한을 도출하는 것.
• 주요 결과의 보조 정리로 웨이너-지브 문제에 대한 강한 역전제 정리를 확립하는 것.
• 디코더에 부가 정보가 있는 소스 코딩에 대해 강한 역전제를 증명하는 열린 문제를 해결하는 것.

제안 방법

• 압축률이 레이트-왜곡 함수 이하일 때, 적절히 구성된 인코딩 및 디코딩 함수의 앙상블을 사용한 랜덤 코딩 접근법을 사용한다.
• 유형 방법과 대규수 확률론을 적용하여 초과 왜곡의 확률을 분석한다.
• 보조 랜덤 변수와 기울인 분포를 도입하여 변분 기법을 사용해 오차 지수에 대한 경계를 유도한다.
• 연쇄적인 부등식과 농도 분석을 사용하여 복원 오류 사건의 확률을 경계한다.
• 보조 랜덤 변수와 왜곡 제약 조건에 대해 최적화하여 지수 함수를 도출한다.
• 강한 역전제를 보조 정리로 사용하여, 레이트-왜곡 함수 이하의 모든 비트 전달률이 오차 확률이 0으로 지수적으로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 압축률이 웨이너-지브 레이트-왜곡 함수 이하일 때, 초과 왜곡 확률의 지수적 감쇠 속도는 무엇인가?
• RQ2 디코더에 부가 정보가 있는 웨이너-지브 소스 코딩 문제에 대해 강한 역전제 정리를 증명할 수 있는가?
• RQ3 이 영역에서 오차 지수에 대한 가장 날카운 하한은 무엇인가?
• RQ4 오차 지수는 소스 통계, 왜곡 수준 및 부가 정보에 따라 어떻게 달라지는가?
• RQ5 레이트-왜곡 한계 이하에서 비트 전달률, 왜곡 및 오차 확률 사이에 기본적인 상충 관계가 존재하는가?

주요 결과

• 압축률이 웨이너-지브 레이트-왜곡 함수 이하일 경우, 초과 왜곡 확률은 지수적으로 매우 빠르게 감소한다.
• 소스 분포, 왜곡 수준 및 부가 정보에 따라 달라지는 명시적 오차 지수 하한이 도출된다.
• 웨이너-지브 문제에 대한 강한 역전제 정리는 주요 결과의 직접적인 보조 정리로 증명된다.
• 모든 레이트가 레이트-왜곡 함수 이하일 경우 오차 지수는 엄밀히 양수이며, 이러한 비트 전달률에서 신뢰할 수 있는 통신이 불가능함을 확인한다.
• 유도된 오차 지수 경계는 블록 길이가 매우 클 경우의 알려진 점근적 행동과 일치하므로, 타당한 경계임을 입증한다.
• 이 방법은 부가 정보가 있는 분산 소스 코딩에서 오차 지수를 분석하는 데 있어 구축 가능한 프레임워크를 제공한다.