[논문 리뷰] Rateless Codes for Finite Message Set

Navot Blits|arXiv (Cornell University)|2012. 01. 27.

Wireless Communication Security Techniques참고 문헌 11인용 수 3

한 줄 요약

이 논문은 피드백이 있는 이산 메모리 없는 채널(DMCs)에서 유한한 메시지 집합을 위한 비점근적(rateless) 코딩 프레임워크를 제안한다. 순차적 디코딩을 사용하여 고정된 오류 확률을 유지하면서 가변 비트 전송률을 달성한다. 메시지 집합이 커질수록 도달 가능한 전송률이 채널 용량에 수렴하며, 알려지지 않은 채널에 대해 혼합 확률 할당을 사용하는 보편적 디코더를 도입하여 소스, 채널, 보조 정보에 대한 사전 지식이 없더라도 완전한 보편성을 달성한다.

ABSTRACT

In this study we consider rateless coding over discrete memoryless channels (DMC) with feedback. Unlike traditional fixed-rate codes, in rateless codes each codeword is infinitely long, and the decoding time depends on the confidence level of the decoder. Using rateless codes along with sequential decoding, and allowing a fixed probability of error at the decoder, we obtain results for several communication scenarios. The results shown here are non-asymptotic, in the sense that the size of the message set is finite. First we consider the transmission of equiprobable messages using rateless codes over a DMC, where the decoder knows the channel law. We obtain an achievable rate for a fixed error probability and a finite message set. We show that as the message set size grows, the achievable rate approaches the optimum rate for this setting. We then consider the universal case, in which the channel law is unknown to the decoder. We introduce a novel decoder that uses a mixture probability assignment instead of the unknown channel law, and obtain an achievable rate for this case. Finally, we extend the scope for more advanced settings. We use different flavors of the rateless coding scheme for joint source-channel coding, coding with side-information and a combination of the two with universal coding, which yields a communication scheme that does not require any information on the source, the channel, or the amount the side information at the receiver.

연구 동기 및 목표

• 피드백이 있는 DMCs에서 유한한 메시지 집합을 위한 rateless 코딩 체계를 개발하여 비점근적 분석이 가능하도록 한다.
• 채널 법칙이 디코더에게 알려지지 않은 상황에서 신뢰할 수 있는 통신을 달성하기 위해, 새로운 보편적 디코딩 지표를 도입하여 도전 과제를 해결한다.
• source-channel coding 및 보조 정보가 있는 source coding으로 rateless 코딩을 확장하여, 소스 통계나 보조 정보에 대한 사전 지식이 없이도 최적의 전송률을 달성한다.
• 도달 가능한 전송률이 채널 용량으로 수렴하는 속도를 정량화하며, 특히 채널 및 소스 통계에 대한 불확실성 하에서 분석한다.
• 완전한 보편성—소스, 채널, 보조 정보에 대한 지식이 전혀 없이도—rateless 코딩을 통해 비점근적 최적성을 유지할 수 있음을 보여준다.

제안 방법

• 와드의 순차적 확률 비율 검정(SPRT) 기반의 정지 시간을 사용하여, 메시지에 대한 신뢰도가 임계값을 초과할 때 동적으로 전송을 종료하는 순차적 디코딩을 사용한다.
• 지식이 있는 디코더의 경우, 알려진 채널 법칙을 이용해 우도 비율 계산을 수행하여 정지 시간 이론을 활용한 전송률 분석을 가능하게 한다.
• 알 수 없는 채널 법칙을 대체하기 위해 혼합 확률 할당을 사용하는 보편적 디코더를 도입하여, 보편적 지표와 지식이 있는 지표 간의 차이를 경계한다.
• 유도된 경계를 활용하여 보편적 경우의 평균 전송 시간을 상한으로 제시하며, 지식이 있는 디코더 설정에서의 결과를 활용한다.
• 소스 통계를 우도 계산에 통합하여 순차적 디코더를 joint source-channel coding에 적응시키며, Slepian-Wolf 및 Wyner-Ziv 전송률을 달성한다.
• 보편적 채널 코딩, joint source-channel coding, 보조 정보 기법을 하나의 보편적 체계로 통합하여 소스, 채널, 보조 정보에 대한 사전 지식이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 피드백이 있는 DMC에서 알려진 채널 법칙을 가진 유한한 메시지 집합에 대해 rateless 코드의 도달 가능한 전송률은 무엇인가?
• RQ2 채널 법칙이 알려지지 않았을 때 rateless 코딩의 성능은 어떻게 열화되며, 보편적 디코더는 이 손실을 보완할 수 있는가?
• RQ3 rateless 코딩은 디코더에 보조 정보가 있는 소스 코딩에서 최적의 Slepian-Wolf 전송률을 달성할 수 있는가?
• RQ4 메시지 집합 크기가 커질수록 도달 가능한 전송률이 채널 용량으로 수렴하는 속도는 무엇인가?
• RQ5 소스, 채널, 보조 정보에 대한 지식이 전혀 없는 완전한 보편적 rateless 코딩 체계를 설계하여 최적의 소스-채널 코딩 전송률을 달성할 수 있는가?

주요 결과

• 알려진 채널의 경우, 메시지 집합 크기 $M$이 커질수록 도달 가능한 전송률이 채널 용량에 수렴하며, 수렴 속도는 주로 $O(1/M)$ 항에 의해 지배된다.
• 알 수 없는 채널의 보편적 경우, 도달 가능한 전송률은 $R = C ig(1 - O(rac{ ext{log } K}{K})ig) + O(rac{1}{K})$ 로 표현되며, $K$는 메시지 집합 크기로, 점근적 최적성을 보여준다.
• 보편적 경우의 수렴 속도는 채널 지식이 없는 탓에 $O(rac{ ext{log } K}{K})$ 항으로 인해 느려지며, 지식이 있는 경우의 $O(rac{1}{K})$ 에 비해 느리다.
• joint source-channel coding의 경우, rateless 체계는 최적의 분리 기반 전송률을 달성하며, 통합 시스템의 용량과 일치한다.
• 디코더에 보조 정보가 있을 경우 전송률은 $R = rac{C}{ ext{H}(W|V)} ig(1 - O(rac{ ext{log } K}{K})ig) + O(rac{1}{K})$ 로 향상되며, $ ext{H}(W|V)$ 는 조건부 엔트로피이다.
• 제안된 보편적 체계는 소스 분포, 채널 법칙, 보조 정보의 존재 여부나 크기 등에 대한 지식이 없어도 최적의 소스-채널 코딩 전송률을 달성하며, 지식이 있는 경우와 동일한 점근적 수렴 속도를 유지한다.