[논문 리뷰] Analytical Lower Bounds on the Capacity of Insertion and Deletion Channels

Mojtaba Rahmati, Tolga M. Duman|arXiv (Cornell University)|2011. 01. 06.

DNA and Biological Computing참고 문헌 13인용 수 10

한 줄 요약

이 논문은 독립적으로 균일하게 분포된 입력과 상호정보량 계산을 사용하여 이진 삽입 및 삭제 채널의 용량에 대한 분석적 하한을 도출한다. 삭제-AWGN 채널에 대한 첫 번째 분석적 하한을 제시하고, 삭제-치환 채널에 대한 기존 하한을 향상시키며, 낮은 삽입 확률에서 갈라거의 삽입 모델에 대한 결과를 개선한다.

ABSTRACT

We develop several analytical lower bounds on the capacity of binary insertion and deletion channels by considering independent uniformly distributed (i.u.d.) inputs and computing lower bounds on the mutual information between the input and the output sequences. For the deletion channel, we consider two different models: i.i.d. deletion-substitution channel and i.i.d. deletion channel with additive white Gaussian noise (AWGN). These two models are considered to incorporate effects of the channel noise along with the synchronization errors. For the insertion channel case we consider the Gallager’s model in which the transmitted bits are replaced with two random bits and uniform over the four possibilities independently of any other insertion events. The general approach taken is similar in all cases, however the specific computations differ. Furthermore, the approach yields a useful lower bound on the capacity for a wide range of deletion probabilities for the deletion channels, while it provides a beneficial bound only for very low insertion probabilities for the insertion model adopted. We emphasize the importance of these results by noting that 1) our results are the first analytical bounds on the capacity of deletion-AWGN channels, 2) the results developed are the best available analytical lower bounds on the deletion/substitution case, 3) for Gallager insertion channel model, the new lower bound improves the existing results for small insertion probabilities. Index Terms Insertion/deletion channels, synchronization, channel capacity, achievable rates.

연구 동기 및 목표

• 가우시안 백색 잡음(Additive White Gaussian Noise, AWGN)으로 인해 손상되는 삭제 채널에 대한 분석적 용량 하한의 부족을 해결한다.
• 삭제 및 치환 채널의 용량에 대한 기존 분석적 하한을 향상시킨다.
• 낮은 삽입 확률에서 갈라거의 삽입 채널 모델에 대해 더 날카운 분석적 하한을 제공한다.
• 삽입 및 삭제 채널에 모두 적용 가능한 통합된 분석적 프레임워크를 수립한다.
• 이론적 및 실용적 통신 시스템 설계를 지원하기 위해 계산 가능하고 분석적으로 다룰 수 있는 하한을 제공한다.

제안 방법

• 채널 용량에 대한 하한으로서 상호정보량을 계산하기 위해 독립적이고 균일하게 분포된(i.i.d.) 입력를 사용한다.
• 정보이론적 기법을 적용하여 삽입 및 삭제 채널에서의 동기화 오류를 모델링한다.
• 두 가지 삭제 채널 모델을 분석한다: i.i.d. 삭제-치환 및 i.i.d. 삭제에 추가로 AWGN가 존재하는 모델.
• 각 비트가 다른 삽입과 독립적인 두 개의 i.i.d. 랜덤 비트로 대체되는 갈라거의 삽입 모델을 채택한다.
• 각 채널 모델 하에서 입력 및 출력 시퀀스 간의 상호정보량에 대한 분석적 표현을 유도한다.
• 대칭성과 확률적 분석을 활용하여 상호정보량 표현을 단순화하고 하한을 구한다.

실험 결과

연구 질문

• RQ1 가우시안 백색 잡음(AWGN)으로 인해 손상되는 이진 삭제 채널의 용량에 대한 분석적 하한은 무엇인가?
• RQ2 기존의 삭제-치환 채널에 대한 분석적 하한과 제안된 하한은 어떻게 비교되는가?
• RQ3 낮은 삽입 확률에서 갈라거의 삽입 채널 모델에 대해 더 날카운 분석적 하한을 도출할 수 있는가?
• RQ4 AWGN를 통합할 경우 삭제 채널의 용량 하한에 어떤 영향을 미치는가?
• RQ5 입력 및 출력 시퀀스 간의 상호정보량은 이러한 모델에서 채널 용량에 대한 신뢰할 수 있는 하한으로서 어떻게 기능하는가?

주요 결과

• 이 논문은 가우시안 백색 잡음(AWGN)으로 인해 손상되는 삭제 채널의 용량에 대한 첫 번째 분석적 하한을 제시한다.
• 삭제-치환 채널의 경우, 제안된 하한은 특히 중간 정도의 삭제 확률에서 기존의 분석 결과보다 향상된다.
• 갈라거의 삽입 채널 모델에 대해 유도된 하한은 작은 삽입 확률에서 이전 결과보다 더 날카롭다.
• 이 방법은 다양한 삭제 확률 범위에 적용 가능한 계산 가능하고 분석적으로 다룰 수 있는 하한을 도출한다.
• 상호정보량 기반 접근법은 동기화 오류 채널에서 용량을 하한으로 제시하는 일관되고 엄밀한 프레임워크를 제공한다.
• 결과는 소음과 동기화 오류가 모두 포함된 복잡한 모델에서도 분석적 용량 하한의 실현 가능성을 보여준다.