[논문 리뷰] The Porosity of Additive Noise Sequences

Vinith Misra, Tsachy Weissman|arXiv (Cornell University)|2012. 05. 31.

Algorithms and Data Compression참고 문헌 3인용 수 5

한 줄 요약

이 논문은 피드백이 있는 이진 덧셈 노이즈 채널에서 개별 결정론적 노이즈 시퀀스의 압축 가능성에 대한 측도인 '다공성(porosity)'의 개념을 도입한다. 이는 이러한 채널의 용량이 노이즈 시퀀스의 Lempel-Ziv 압축 가능성의 보완임을 규명하며, 모든 노이즈 시퀀스에 대해 이 비율을 달성하는 유니버설 코딩 기법을 제시함으로써, 유니버설 소스 코딩과 채널 코딩 간의 이중성(duality)을 확장한다.

ABSTRACT

Consider a binary additive noise channel with noiseless feedback. When the noise is a stationary and ergodic process $\mathbf{Z}$, the capacity is $1-\mathbb{H}(\mathbf{Z})$ ($\mathbb{H}(\cdot)$ denoting the entropy rate). It is shown analogously that when the noise is a deterministic sequence $z^\infty$, the capacity under finite-state encoding and decoding is $1-\barρ(z^\infty)$, where $\barρ(\cdot)$ is Lempel and Ziv's finite-state compressibility. This quantity is termed the \emph{porosity} $\underlineσ(\cdot)$ of an individual noise sequence. A sequence of schemes are presented that universally achieve porosity for any noise sequence. These converse and achievability results may be interpreted both as a channel-coding counterpart to Ziv and Lempel's work in universal source coding, as well as an extension to the work by Lomnitz and Feder and Shayevitz and Feder on communication across modulo-additive channels. Additionally, a slightly more practical architecture is suggested that draws a connection with finite-state predictability, as introduced by Feder, Gutman, and Merhav.

연구 동기 및 목표

• 확률 모델이 아닌 결정론적 노이즈 시퀀스를 다루는 방식으로, 유니버설 소스 코딩 이론을 채널 코딩으로 확장한다.
• 유한 상태의 인코더 및 디코더 제약 조건 하에서 개별 노이즈 시퀀스에 대한 채널 용량 측도를 정의한다.
• 노이즈 시퀀스의 구조에 대한 사전 지식 없이도 어떤 결정론적 노이즈 시퀀스에 대해서도 이론적 용량에 도달하는 유니버설 코딩 기법을 개발한다.
• 피드백 하에서 Lempel-Ziv 소스 코딩과 채널 코딩 간의 이중성을 확립하여 샤논 이론의 이중성과 유사하게 만든다.

제안 방법

• 결정론적 노이즈 시퀀스 z∞의 Lempel-Ziv 유한 상태 압축 가능성의 보완으로서 다공성 측도 σ̲(z∞)을 제안한다.
• 노이즈가 없는 피드백을 통해 관측된 노이즈 시퀀스에 동적으로 대응하는 적응형 인코딩 및 디코딩을 가능하게 한다.
• 모든 개별 노이즈 시퀀스 z∞에 대해 다공성 비율 1−σ̲(z∞)을 달성하는 유니버설 코딩 기법의 시퀀스를 설계한다.
• 허위 해결을 방지하기 위해 인코더 및 디코더 양쪽에 유한 상태 제약 조건을 적용하여 실현 가능성을 확보한다.
• 소스 코딩에서의 압축 가능성과 채널 코딩에서의 구현 가능한 비율 간의 유사성을 활용하여 소스 및 채널 코딩 간의 이중성을 활용한다.
• Feder, Gutman, 및 Merhav가 정의한 유한 상태 예측 가능성과 다공성을 연결하는 실용적인 아키텍처를 도입하여 구현 가능성을 향상시킨다.

실험 결과

연구 질문

• RQ1 유니버설 소스 코딩과 유니버설 채널 코딩 간의 이중성은 확률 모델이 아닌 개별 결정론적 수열로까지 확장될 수 있는가?
• RQ2 노이즈가 고정된 결정론적 시퀀스이고 피드백이 제공될 경우, 이진 덧셈 노이즈 채널의 기본 용량 한계는 무엇인가?
• RQ3 노이즈 시퀀스의 구조에 대한 사전 지식 없이도 어떤 개별 노이즈 시퀀스에 대해서도 최적의 비율을 달성하는 유니버설 코딩 기법은 어떻게 설계할 수 있는가?
• RQ4 유한 상태 인코딩 및 디코딩은 결정론적 노이즈 시퀀스에 대해 비자명한 통신 비율을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 Lempel-Ziv 소스 코딩에서의 압축 가능성은 피드백 하에서의 채널 코딩에서의 구현 가능한 비율과 어떻게 관련이 있는가?

주요 결과

• 결정론적 노이즈 시퀀스 z∞와 노이즈가 없는 피드백이 있는 이진 덧셈 노이즈 채널의 용량은 1−σ̲(z∞)이며, 여기서 σ̲(z∞)는 시퀀스의 Lempel-Ziv 압축 가능성이다.
• 노이즈 시퀀스에 대한 사전 지식 없이도 모든 개별 시퀀스에 대해 다공성 비율 1−σ̲(z∞)을 달성하는 유니버설 코딩 기법의 시퀀스가 구성된다.
• 역방향 결과는 유한 상태 인코더-디코더 쌍이 1−σ̲(z∞)를 초과하는 비율을 달성할 수 없음을 보여주며, 이는 경계의 날카로움을 입증한다.
• 제안된 프레임워크는 피드백 하에서 Lempel-Ziv 소스 코딩과 유니버설 채널 코딩 간의 공식적인 이중성을 확립하며, 고전적 샤논 이론적 이중성의 확장이다.
• 다공성과 유한 상태 예측 가능성 간의 연결을 고려한 실용적인 코딩 아키텍처가 제안되어 피드백 하에서의 실현 가능한 구현을 가능하게 한다.
• 분석 결과 피드백의 사용이 노이즈 시퀀스의 특성에 맞게 인코더 및 디코더가 적응할 수 있도록 하여 비자명한 유니버설 통신을 가능하게 한다는 것이 확인된다.