[논문 리뷰] Optimal coding for the deletion channel with small deletion probability

Yashodhan Kanoria, Andrea Montanari|arXiv (Cornell University)|2011. 04. 29.

DNA and Biological Computing참고 문헌 8인용 수 5

한 줄 요약

이 논문은 작은 삭제 확률 $d$ 에서 이진 삭제 채널의 용량에 대한 체계적인 점근 전개를 개발하며, 급수의 첫 세 항을 계산한다. 이는 $d=0$ 에서 i.i.d. 베르누이(1/2) 입력을 변형함으로써, $O(d^{3-\epsilon})$ 이내의 최적성 달성을 보장하는 정(stationary) 이진 소스와 i.i.d. 런(run) 및 특정 런 길이 분포를 갖는 입력이 용량을 달성함을 증명한다. 이는 이 채널에 대해 처음으로 최적 부호화 결과를 이룬다. 접근법은 변형 이론을 통해 부드러운 용량 변화 및 최적 입력 분포를 확립한다.

ABSTRACT

The deletion channel is the simplest point-to-point communication channel that models lack of synchronization. Input bits are deleted independently with probability d, and when they are not deleted, they are not affected by the channel. Despite significant effort, little is known about the capacity of this channel, and even less about optimal coding schemes. In this paper we develop a new systematic approach to this problem, by demonstrating that capacity can be computed in a series expansion for small deletion probability. We compute three leading terms of this expansion, and find an input distribution that achieves capacity up to this order. This constitutes the first optimal coding result for the deletion channel. The key idea employed is the following: We understand perfectly the deletion channel with deletion probability d=0. It has capacity 1 and the optimal input distribution is i.i.d. Bernoulli(1/2). It is natural to expect that the channel with small deletion probabilities has a capacity that varies smoothly with d, and that the optimal input distribution is obtained by smoothly perturbing the i.i.d. Bernoulli(1/2) process. Our results show that this is indeed the case. We think that this general strategy can be useful in a number of capacity calculations.

연구 동기 및 목표

• 작은 삭제 확률 $d$ 에서 이진 삭제 채널의 용량에 대한 급수 전개를 계산하는 것.
• 작은 $d$ 에서 $O(d^{3-\epsilon})$ 이내로 용량을 달성하는 특정 입력 분포를 규명하여, 이 채널에 대한 이전 최적 부호화의 한계를 극복하는 것.
• 용량이 특정 매개변수 값(여기서는 $d=0$)에서 정확히 알려진 채널에서 용량 계산을 위한 일반 전략을 수립하는 것 — 즉, 최적 입력 분포를 부드럽게 변형함으로써.

제안 방법

• 용량을 $d$ 의 거듭제곱으로 전개하기 위해, 용량이 정확히 1인 $d=0$ 에서 i.i.d. 베르누이(1/2) 입력 분포를 변형한다.
• 입력을 정(stationary) 소스로 모델링하며, 런 길이가 분포 $p_L(l) = 2^{-l}(1 + d(l\ln l - c_2 l/2))$ 를 제1차 근사로 갖는 i.i.d. 런을 갖는다. 이는 $d=0$ 경우로부터의 부드러운 변화를 보장한다.
• 재생 과정 이론과 엔트로피 분석을 사용하여 이러한 소스의 비율을 계산하고, 삭제 하에서 상호정보량과의 관계를 설정한다.
• 집중 및 尾부 경계를 통해 오차 항을 제어함으로써, $d$ 의 제곱 항까지 일致하는 엄밀한 상한 및 하한을 사용하여 용량에 대한 상한과 하한을 적용한다.
• 용량 함수 $h(p)$ 와 $\sum 2^{-l} l \ln l$ 를 포함한 로그 항을 사용하여 급수의 계수 $A_1$, $A_2$ 와 상수 $c_2, c_3, c_4$ 를 계산한다.
• 수치적으로 $d=0.1$ 에서 전개를 검증하여 진짜 용량과 $0.002$ 비트 이내로 일致함을 보이고, 이는 마르코프 소스 및 조각 맞추기 디코딩에 의한 이전 경계와 비교된다.

실험 결과

연구 질문

• RQ1 작은 $d$ 에서 이진 삭제 채널의 용량이 $d$ 의 거듭제곱 급수로 전개될 수 있는가? 그리고 명시적인 계수를 갖는가?
• RQ2 i.i.d. 베르누이(1/2) 또는 마르코프 소스를 초월하여, 작은 $d$ 에서 $O(d^{3-\epsilon})$ 이내로 용량을 달성하는 특정 입력 분포가 존재하는가?
• RQ3 최적 입력 분포는 $d=0$ 근처에서 $d$ 에 대해 부드럽게 변하는가? 그리고 이는 i.i.d. 베르누이(1/2) 과정의 변형을 통해 포괄될 수 있는가?
• RQ4 마르코프 소스 또는 조각 맞추기 디코딩을 사용할 경우 최적 방법에 비해 주로 어떤 정도의 손실이 발생하는가?
• RQ5 용량이 알려진 특정 점($d=0$)에서 정확히 알려진 채널에 대해, 최적 입력 분포를 변형하는 일반 전략이 동기화 오류가 있는 다른 채널에 적용될 수 있는가?

주요 결과

• 작은 $d$ 에서 삭제 채널의 용량은 $C(d) = 1 + d\log d - A_1 d + A_2 d^2 + O(d^{3-\epsilon})$ 로 전개되며, $A_1 \approx 1.15416377$ 이고 $A_2 \approx 1.67814594$ 이다.
• i.i.d. 런과 런 길이 분포 $p_L(l) = 2^{-l}(1 + d(l\ln l - c_2 l/2))$ 를 갖는 입력 분포는 용량에 $O(d^{3-\epsilon})$ 이내로 도달한다. 여기서 $c_2 \approx 1.78628364$ 이다.
• 1차 마르코프 소스를 사용할 경우 손실은 $\Omega(d^2)$ 이며, 이는 간단한 i.i.d. 베르누이(1/2) 입력과 같은 주요 손실의 순서를 나타내며, 마르코프 소스가 이 순서에서 최적이 아니라는 것을 보여준다.
• $d=0.1$ 에서 점근 전개는 진짜 값과 $0.002$ 비트 이내로 일치하며, 이는 이전의 하한보다 크게 향상된 결과이다.
• 논문은 알려진 용량 점에서 최적 입력을 변형함으로써 용량 계산을 위한 일반 프레임워크를 확립하였으며, 이는 동기화 오류가 있는 다른 채널에 적용 가능할 수 있다.
• 유도된 전개는 $d=0$ 근처에서 최적 입력 분포가 $d$ 에 대해 부드럽게 변화함을 시사하며, 작은 삭제는 최적 부호화 방식에 작은 변화를 유도한다는 직관을 확인한다.