[논문 리뷰] Asymptotics of Input-Constrained Erasure Channel Capacity

Yonglong Li, Guangyue Han|arXiv (Cornell University)|2016. 05. 07.

Cellular Automata and Applications참고 문헌 47인용 수 4

한 줄 요약

이 논문은 입력 제약 조건이 있는 소실 채널의 渐近적 용량을 조사하며, 유한 유형 제약 조건을 가진 일반적인 무기억 소실 채널에 대해 부분적인 渐近적 해를 도출하고, (1,∞)-RLL 제약 조건 하에서 1차 마르코프 입력을 가진 이진 소실 채널에 대해 완전한 渐近적 해를 얻는다. 피드백이 무기억 소실 채널에서 입력 제약 조건이 존재하는 경우에도 용량을 증가시킬 수 있음을 보여주며, 이러한 설정에서 피드백이 도움이 되지 않는다는 전통적인 믿음을 도전한다.

ABSTRACT

In this paper, we examine an input-constrained erasure channel and we characterize the asymptotics of its capacity when the erasure rate is low. More specifically, for a general memoryless erasure channel with its input supported on an irreducible finite-type constraint, we derive partial asymptotics of its capacity, using some series expansion type formulas of its mutual information rate; and for a binary erasure channel with its first-order Markovian input supported on the $(1, \infty)$-RLL constraint, based on the concavity of its mutual information rate with respect to some parameterization of the input, we numerically evaluate its first-order Markov capacity and further derive its full asymptotics. The asymptotics obtained in this paper, when compared with the recently derived feedback capacity for a binary erasure channel with the same input constraint, enable us to draw the conclusion that feedback may increase the capacity of an input-constrained channel, even if the channel is memoryless.

연구 동기 및 목표

• 소실률 ε가 작아질 때 입력 제약 조건이 있는 소실 채널의 용량의 渐近적 행동을 규명하는 것.
• 서열 전개를 이용한 상호정보량 속도의 시리즈 전개를 통해, 비가역적인 유한 유형 제약 조건을 가진 일반적인 무기억 소실 채널에 대한 부분적인 渐近적 해를 유도하는 것.
• (1,∞)-RLL 제약 조건 하에서 이진 소실 채널에 대해 1차 마르코프 용량과 완전한 渐近적 해를 비볼록성 기반 수치 평가를 통해 계산하는 것.
• 동일한 입력 제약 조건 하에서 피드백과 비피드백 용량을 비교하여 피드백이 용량 향상에 기여하는지 평가하는 것.
• 입력 제약 조건이 있는 무기억 채널에서 피드백이 용량을 증가시키지 않는다는 전통적 견해를 도전하는 것.

제안 방법

• 서로 다른 상호정보량 속도의 시리즈 전개 공식을 사용하여, 일반적인 입력 제약 조건이 있는 무기억 소실 채널의 용량에 대한 부분적인 渐近적 해를 도출한다.
• 입력 매개변수화에 대한 상호정보량 속도의 볼록성에 기반하여, (1,∞)-RLL 제약 조건 하에서 이진 소실 채널의 1차 마르코프 용량을 수치적으로 평가한다.
• 변분 방법과 엔트로피 체인 규칙을 적용하여 피드백 용량을 경계하며, 제약 조건이 없는 입력에 대해 (1−ε)log K 이하로 상한을 설정함을 보여준다.
• 채널 출력 Yn = XnEn이며, Ei가 i.i.d. 베르누이(1−ε)임을 이용하여 소실을 모델링하고 정보이론적 경계를 도출한다.
• 유한 유형 제약 조건의 구조와 그들의 위상적 순서를 활용하여 입력 지원과 용량 한계를 분석한다.
• 엔트로피 분해를 통해 용량 경계를 유도하며, 출력 분포에서 소실 및 비소실 기여도를 분리한다.

실험 결과

연구 질문

• RQ1 ε→0 일 때, 비가역적인 유한 유형 제약 조건에 따라 입력이 제약된 무기억 소실 채널의 渐近적 용량은 무엇인가요?
• RQ2 (1,∞)-RLL 입력 제약 조건이 있는 이진 소실 채널에 대해 용량의 완전한 渐近적 전개를 도출할 수 있는가요?
• RQ3 입력 제약 조건이 존재하는 무기억 소실 채널에서 피드백이 용량을 증가시키는가, 비록 채널이 무기억임에도 불구하고?
• RQ4 (1,∞)-RLL 제약 조건이 있는 이진 소실 채널에 대해, 매개변수화된 1차 마르코프 입력 하에서 상호정보량 속도는 어떻게 행동하는가?
• RQ5 동일한 입력 제약 조건 하에서 피드백 용량과 비피드백 용량 간의 관계는 무엇인가요?

주요 결과

• 일반적인 입력 제약 조건이 있는 무기억 소실 채널에 대해, 상호정보량 속도의 시리즈 전개를 통해 부분적인 渐近적 해를 도출하였다.
• 1차 마르코프 입력을 가진 (1,∞)-RLL 제약 조건이 있는 이진 소실 채널에 대해, 상호정보량 속도의 볼록성을 활용하여 1차 마르코프 용량을 수치적으로 평가하고 완전한 渐近적 해를 도출하였다.
• 제약 조건이 없는 이진 소실 채널의 피드백 용량은 (1−ε)log K 이하로 상한이 설정되며, 이는 제약 조건이 없는 비피드백 용량과 일치함을 보였다.
• 채널이 무기억임에도 불구하고 입력 제약 조건이 존재할 경우 피드백이 용량을 증가시키며, 이는 비트리스 용량 향상이 있음을 보여준다.
• (1,∞)-RLL 제약 조건이 있는 이진 소실 채널에서 피드백 하의 渐近적 용량은 피드백이 없는 경우를 초월하며, 무기억 채널에서는 피드백이 도움이 되지 않는다는 일반적인 직관과 모순된다.
• 결과는 입력 제약 조건이 존재할 경우 무기억 소실 채널에서조차 피드백이 유용해질 수 있음을 확인하며, 기억, 제약 조건, 피드백 간의 미묘한 상호작용을 부각시킨다.