[논문 리뷰] Compression of sources of probability distributions and density operators

Andreas Winter|arXiv (Cornell University)|2002. 08. 21.

Wireless Communication Security Techniques참고 문헌 17인용 수 45

한 줄 요약

이 논문은 확률 분포 또는 양자 혼합 상태를 출력하는 소스의 압축을 연구하며, 출력 분포를 효율적으로 압축하는 것을 목표로 하는 일반화된 소스 코딩 문제를 도입한다. 최적의 압축 비율이 공통 랜덤니스 또는 조합적 코드 구축을 통해 달성 가능한 상호정보량 I(P;W)임을 규명하고, 고전적 및 양자 정보 이론 전반에 걸쳐 통합적인 응용을 보이며, 샤논의 코딩 및 비용-손실 이론에 대한 새로운 증명을 제시한다.

ABSTRACT

We study the problem of efficient compression of a stochastic source of probability distributions. It can be viewed as a generalization of Shannon's source coding problem. It has relation to the theory of common randomness, as well as to channel coding and rate--distortion theory: in the first two subjects ``inverses'' to established coding theorems can be derived, yielding a new approach to proving converse theorems, in the third we find a new proof of Shannon's rate--distortion theorem. After reviewing the known lower bound for the optimal compression rate, we present a number of approaches to achieve it by code constructions. Our main results are: a better understanding of the known lower bounds on the compression rate by means of a strong version of this statement, a review of a construction achieving the lower bound by using common randomness which we complement by showing the optimal use of the latter within a class of protocols. Then we review another approach, not dependent on common randomness, to minimizing the compression rate, providing some insight into its combinatorial structure, and suggesting an algorithm to optimize it. The second part of the paper is concerned with the generalization of the problem to quantum information theory: the compression of mixed quantum states. Here, after reviewing the known lower bound we contribute a strong version of it, and discuss the relation of the problem to other issues in quantum information theory.

연구 동기 및 목표

• 기존의 기호가 아닌 확률 분포를 출력하는 소스로 샤논의 소스 코딩 정리의 일반화를 시도하며, 더 넓은 범주에 속하는 정보 소스를 모델링한다.
• 특히 오차가 0에 수렴하는 극한(λ→0)에서 이러한 소스의 최적 압축 비율을 규명하고, 공통 랜덤니스와 같은 자원의 역할을 이해한다.
• 고전적 분포의 자연스러운 일반화로서 혼합 양자 상태의 압축을 분석함으로써 양자 정보 이론으로 결과를 확장한다.
• 핵심 정리들—예를 들어 채널 용량과 비용-손실 이론—이 이 압축 프레임워크로부터 유도될 수 있음을 보여 양자 및 고전 정보 이론을 통합한다.
• 이론적 하한선에 도달하는 코드 구축 방법을 제안하고 분석하며, 공통 랜덤니스와 조합적 방법을 포함한다.

제안 방법

• 입력 시퀀스를 코드북으로 매핑하는 인코딩과, 코드북 요소를 출력 분포로 매핑하는 디코딩을 갖는 일반화된 (n,λ)-코드를 도입하며, 허용 오차는 총 변동 거리로 측정된다.
• 강한 역전제 정리를 적용하여 최소 코드북 크기의 하한을 도출하며, 점점 커지는 근사에서 압축 비율이 I(P;W) 이하일 수 없음을 보인다.
• 공통 랜덤니스를 사용한 랜덤 코딩 방법을 적용하여 상호정보량 I(P;W)의 비율을 달성하는 코드를 구축하며, 극한에서 공통 랜덤니스 소비는 H(W|P) 비트로 제한됨을 보인다.
• 양자 채널 코딩 정리(즉, HSW 정리)를 활용하여, 이 압축 문제를 고전-양자 채널을 통한 전송 문제로 환원함으로써 I(P;W) 비율의 달성을 증명한다.
• 형태 집합과 유형 방법에 기반한 조합적 구축을 개발하여, 공통 랜덤니스가 필요 없이 최적 비율에 수렴하는 비랜덤화된 코드를 제공한다.
• 확률 분포를 가환 밀도 연산자로 간주함으로써 이 프레임워크를 양자 소스로 확장하고, 양자 혼합 상태 압축에 대해 강한 역전제를 증명한다.

실험 결과

연구 질문

• RQ1 입력 기호 x마다 분포 W_x를 출력하는 소스에 대해 총 변동 거리 허용 오차 조건 하에서 최적의 압축 비율은 무엇인가?
• RQ2 공통 랜덤니스를 사용할 경우 상호정보량 I(P;W)가 점점 커지는 근사에서 달성 가능한가? 그리고 최소한의 공통 랜덤니스 소비 비율은 얼마인가?
• RQ3 공통 랜덤니스 없이도 압축 비율 I(P;W)를 달성할 수 있는가? 그리고 조합적 구축을 통해 이를 계산할 수 있는가?
• RQ4 이 결과들을 이용하여 기존의 정보 이론 정리들—예를 들어 샤논의 채널 코딩 및 비용-손실 이론 정리—를 추론할 수 있는가?
• RQ5 이 압축 프레임워크와 양자 정보 이론 사이의 관계는 무엇인가? 특히 혼합 상태 압축과 양자 채널 용량의 맥락에서 어떻게 연결되는가?

주요 결과

• 총 변동 거리 허용 오차 조건 하에서 확률 분포를 출력하는 소스의 최적 압축 비율은 입력과 출력 분포 사이의 상호정보량 I(P;W)이다.
• 강한 역전제 정리를 증명하여, I(P;W)를 초과하는 비율을 갖는 모든 코드는 점점 커지는 근사에서 오차 확률이 0에서 벗어나야 한다고 보여준다.
• 공통 랜덤니스 접근이 가능할 경우, I(P;W) 비율을 달성하면서도 극한에서 기호당 H(W|P) 비트의 공통 랜덤니스 소비만으로도 가능한 코드를 구축할 수 있다.
• 형태 집합과 유형 방법에 기반한 조합적 구축은 공통 랜덤니스가 필요 없이 I(P;W) 비율을 달성하며, 비용 없이 최적 비율에 도달하는 구축적 증명을 제공한다.
• 적절한 왜곡 척도를 갖는 압축 문제로 환원함으로써, 이 프레임워크는 샤논의 비용-손실 이론에 대한 새로운 증명을 제공한다.
• 결과는 혼합 양자 상태로 확장되며, 최적 압축 비율은 홀로보 정보이며, 양자 혼합 상태 소스에 대해 강한 역전제가 증명된다.