[논문 리뷰] Unified Theory of Source Coding: Part II -- Multiterminal Problems

Soumya Jana|ArXiv.org|2005. 08. 26.

Wireless Communication Security Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 비협력적 인코더를 갖는 다중단원 소스 코딩을 위한 통합 정보이론적 프레임워크를 제안하며, 이는 이중단원 문제에서의 기본 원리를 임의의 수의 소스로 확장한다. 일반화된 typicality 개념을 사용하여 왜곡 분석을 typicality 추론에서 분리하고, 중간에 손실이 없는 코딩과 Fano의 부등식을 활용함으로써, 모든 12개의 다중단원 구성에 대해 무한차수의 구현 가능한 비율 영역을 도출한다. 이는 디코더에서 부분적, 완전적, 또는 측정되지 않은 보조 정보가 존재하는 경우를 포함한 손실 없는, 왜곡 제한이 있는, 하이브리드 복원 방식을 모두 포함한다. 주요 기여는 다중단원 소스 코딩 문제에 대한 일반적인 해법으로, 특히 엔트로피 제약이 있는 추정 문제를 특수한 경우로 포함한다.

ABSTRACT

In the first paper of this two part communication, we solved in a unified framework a variety of two terminal source coding problems with noncooperative encoders, thereby consolidating works of Shannon, Slepian-Wolf, Wyner, Ahlswede-Körner, Wyner-Ziv, Berger {\em et al.} and Berger-Yeung. To achieve such unification we made use of a fundamental principle that dissociates bulk of the analysis from the distortion criterion at hand (if any) and extends the typicality arguments of Shannon and Wyner-Ziv. In this second paper, we generalize the fundamental principle for any number of sources and on its basis exhaustively solve all multiterminal source coding problems with noncooperative encoders and one decoder. The distortion criteria, when applicable, are required to apply to single letters and be bounded. Our analysis includes cases where side information is, respectively, partially available, completely available and altogether unavailable at the decoder. As seen in our first paper, the achievable regions permit infinite order information-theoretic descriptions. We also show that the entropy-constrained multiterminal estimation problem can be solved as a special case of our theory.

연구 동기 및 목표

• 비협력적 인코더를 갖는 다중단원 소스 코딩을 위한 통합 정보이론적 프레임워크를 개발하여 이전의 이중단원 결과를 일반화한다.
• 손실 없는 복원, 왜곡 제한이 있는 복원, 하이브리드 복원을 포함한 모든 12개의 다중단원 소스 코딩 문제를 체계적으로 분류하고 해결한다.
• 이중단원에서의 기본 소스 코딩 원리를 다중단원 환경으로 확장하며, 왜곡 분석을 typicality 추론에서 분리한다.
• typicality의 다중단원 확장과 중간에 손실이 없는 코딩을 활용하여 무한차수의 구현 가능한 비율 영역을 유도한다.
• 이론의 일반성을 입증하기 위해, 엔트로피 제약이 있는 다중단원 추정 문제를 특수한 경우로 포함시킨다.

제안 방법

• 왜곡 분석을 typicality 추론에서 분리하는 다중단원 소스 코딩 원리의 일반화를 제안하며, Shannon과 Wyner-Ziv의 typicality 개념을 확장한다.
• 중간에 다중단원 손실 없는 코딩과 Fano의 부등식을 사용하여 구현 가능한 비율 영역의 외부 경계를 설정한다.
• 보조 랜덤 변수와 소스의 순서된 부분집합을 포함한 조건부 상호정보량 제약 조건을 사용하여 구현 가능한 영역의 무한차수 기술을 도출한다.
• 손실 없는 복원, 왜곡 제한이 있는 복원, 하이브리드 복원을 포함한 12개의 구성 모두에 이 프레임워크를 적용한다. 이는 보조 정보가 없음, 부분적, 완전적, 혼합된 경우의 4가지 하위케이스를 포함한다.
• 일반적인 문제 설정이 이중단원 특수 케이스인 Berger-Yeung 문제를 포함함을 보여준다.
• 구현 가능한 영역의 모서리 점들이 $ M'^\prime! $개의 소스 순서의 순열로 완전히 기술됨을 증명하며, 각 모서리 점은 $ R_i' = I(Y_i; Z_i | \overline{Z}_{I_{i-1}}, V) $로 정의된다.

실험 결과

연구 질문

• RQ1 Slepian-Wolf, Wyner-Ziv, Berger-Yeung와 같은 기존의 이중단원 결과를 일반화하는 다중단원 소스 코딩을 위한 통합 프레임워크는 어떻게 구성할 수 있는가?
• RQ2 비협력적 인코더와 임의의 왜곡 기준을 갖는 다중단원 소스 코딩에 대해 가장 일반적인 구현 가능한 비율 영역은 무엇인가?
• RQ3 기본 소스 코딩 원리는 어떻게 임의의 수의 소스와 혼합된 복원 모드(손실 없는 vs. 왜곡 제한)를 다룰 수 있도록 확장할 수 있는가?
• RQ4 보조 정보(부분적, 완전적, 또는 혼합된)는 다중단원 환경에서 구현 가능한 비율 영역의 형태에 어떤 역할을 하는가?
• RQ5 엔트로피 제약이 있는 다중단원 추정 문제는 이 일반 프레임워크 내에서 특수한 경우로 포함시킬 수 있는가?

주요 결과

• 논문은 비협력적 인코더를 포함한 손실 없는, 왜곡 제한이 있는, 하이브리드 복원 방식을 포함한 모든 12개의 다중단원 소스 코딩 문제에 대해 완전한 해법을 수립한다.
• 구현 가능한 비율 영역은 모든 소스와 보조 변수의 부분집합을 포함한 조건부 상호정보량 제약 조건을 사용한 무한차수의 기술로 기술된다.
• 구현 가능한 영역의 모서리 점들은 $ M'^\prime! $개의 소스 순서의 순열로 완전히 기술되며, 각 모서리 점은 $ i \in I_{M'} $에 대해 $ R_i' = I(Y_i; Z_i | \overline{Z}_{I_{i-1}}, V) $로 정의된다.
• 외부 경계는 중간에 다중단원 손실 없는 코딩과 Fano의 부등식을 사용하여 증명되며, 이는 이중단원의 추론을 다중단원으로 확장한 것이다.
• 이론은 이전 결과를 통합하고 일반화하며, 특히 Berger-Yeung 문제를 이중단원 특수 케이스로 포함한다.
• 엔트로피 제약이 있는 다중단원 추정 문제는 제안된 프레임워크의 특수한 경우로 해결 가능함을 보여준다.