[논문 리뷰] Achieving the Empirical Capacity Using Feedback Part I: Memoryless Additive Models

Ofer Shayevitz, Meir Feder|ArXiv.org|2008. 08. 29.

Markov Chains and Monte Carlo Methods참고 문헌 5인용 수 7

한 줄 요약

이 논문은 임의의 알려지지 않은 노이즈 시퀀스를 가진 무기억 가우시안 외부 채널에 대해 일반적인 피드백 기반 전송 방식을 제안하며, 고전적 채널 용량이 0일지라도 실측 용량 $\log|\mathcal{X}| - H_{\rm emp}(Z^n)$ 에 가까운 전송 속도를 달성한다. 순차적 코딩 기법을 사용하여 훈련 및 업데이트 단계를 거치며, 공통 랜덤니스 또는 다이터링을 활용해 실시간으로 노이즈 통계를 적응적으로 추정함으로써 채널의 실제 행동에 따라 변동하는 전송 속도로 신뢰성 있는 통신을 실현한다.

ABSTRACT

We address the problem of universal communications over an unknown channel with an instantaneous noiseless feedback, and show how rates corresponding to the empirical behavior of the channel can be attained, although no rate can be guaranteed in advance. First, we consider a discrete modulo-additive channel with alphabet $\mathcal{X}$, where the noise sequence $Z^n$ is arbitrary and unknown and may causally depend on the transmitted and received sequences and on the encoder's message, possibly in an adversarial fashion. Although the classical capacity of this channel is zero, we show that rates approaching the empirical capacity $\log|\mathcal{X}|-H_{emp}(Z^n)$ can be universally attained, where $H_{emp}(Z^n)$ is the empirical entropy of $Z^n$. For the more general setting where the channel can map its input to an output in an arbitrary unknown fashion subject only to causality, we model the empirical channel actions as the modulo-addition of a realized noise sequence, and show that the same result applies if common randomness is available. The results are proved constructively, by providing a simple sequential transmission scheme approaching the empirical capacity. In part II of this work we demonstrate how even higher rates can be attained by using more elaborate models for channel actions, and by utilizing possible empirical dependencies in its behavior.

연구 동기 및 목표

• 고전적 용량이 악성 노이즈로 인해 0이 되는, 즉각적인 무소음 피드백이 있는 알려지지 않은 채널에서의 일반적 통신 문제를 다루기 위해.
• 채널의 실측 행동에 따라 정의된 노이즈 시퀀스의 실측 엔트로피에 맞는 전송 속도를 달성하기 위해.
• 사전 지식 없이도 알려지지 않은 임의의 노이즈 시퀀스에 대해 실시간으로 적응하는 실용적인 순차적 전송 방식을 설계하기 위해.
• 공통 랜덤니스가 활성 피드백이 없는 상황에서도 일반적인 속도 적응을 가능하게 하는지 확인하기 위해.
• 모듈로-덧셈 모델 아래에서 임의의 채널 행동을 통합적으로 다루어, 관측된 실측 통계에 기반한 속도 적응을 가능하게 하기 위해.

제안 방법

• 시간을 블록으로 나누는 순차적 전송 방식을 사용하며, 노이즈 시퀀스의 실측 분포를 추정하기 위해 훈련 및 업데이트 단계를 활용한다.
• 입력 분포의 균일성을 보장하기 위해 다이터링을 적용하여, 훈련 샘플이 진정한 실측 노이즈 분포를 반영하도록 보장한다.
• 활성 피드백을 대체하기 위해 공통 랜덤니스를 사용하며, 제어 시퀀스 내의 구조화된 알파벳을 통해 제어 정보(예: 업데이트 비트 위치)를 전송한다.
• 인코더는 피드백을 이용해 과거 관측치, 메시지 포인트 및 제어 시퀀스에 기반해 입력 기호를 적응적으로 선택함으로써 노이즈의 인과적 표본 추출을 보장한다.
• 레마들은 훈련 및 업데이트 시퀀스가 노이즈에 대해 인과적 표본 추출 시퀀스임을 입증하며, 일관된 실측 엔트로피 추정을 가능하게 한다.
• 훈련, 정규, 업데이트 위치를 고려한 입력 기호에 대한 근사 분포를 정의함으로써 부가 비용 항을 최소화한다.

실험 결과

연구 질문

• RQ1 악성의, 알려지지 않은 노이즈 시퀀스를 가진 채널에서 실측 용량에 가까운 전송 속도로 신뢰성 있는 통신을 달성할 수 있는가?
• RQ2 고전적 용량이 0일 경우에도, 채널의 실제 실측 행동에 따라 전송 속도를 일반적으로 적응시킬 수 있는가?
• RQ3 공통 랜덤니스를 어떻게 활용하여 실측 용량을 달성하기 위해 활성 피드백을 대체할 수 있는가?
• RQ4 다이터링을 통한 입력 분포의 균일성은 실측 엔트로피 추정의 정확성에 어떤 역할을 하는가?
• RQ5 제안된 방식이 모든 가능한 채널 실현 및 메시지 포인트에 대해 실측 용량으로의 균일 수렴을 달성할 수 있는가?

주요 결과

• 제안된 방식은 임의의 알려지지 않은 노이즈 시퀀스를 가진 무기억 가우시안 외부 채널에서 실측 용량 $\log|\mathcal{X}| - H_{\rm emp}(Z^n)$ 을 일반적으로 달성한다.
• 고전적 용량이 0일 경우(예: 이진 모듈로-덧셈 채널에서 $p \geq 1/3$)에도 불구하고, 이 방식은 실측 용량에 가까운 전송 속도를 달성한다.
• 다이터링을 적용한 결과, 이 방식은 전체 가족 $\mathscr{C}_{\scriptscriptstyle\mathcal{X}}$ 에서 실측 용량을 균일하게 달성하며, 수렴 매개변수는 채널이나 메시지 포인트에 영향을 받지 않는다.
• 공통 랜덤니스의 사용은 활성 피드백을 대체하면서도 실측 용량 성능을 유지할 수 있도록 한다.
• 다이터링은 훈련 및 업데이트 샘플이 진정한 실측 노이즈 분포를 반영하도록 보장하여, $H_{\rm emp}(Z^n)$ 의 일관된 추정을 가능하게 한다.
• 레마들이 입증한 lin에 따라, 훈련 및 업데이트 시퀀스가 각 블록 내에서 노이즈에 대해 인과적 표본 추출 시퀀스임을 보장함으로써, 이 방식의 수렴이 보장된다.