[논문 리뷰] Universal Polarization for Processes with Memory

Boaz Shuval, Ido Tal|arXiv (Cornell University)|2018. 11. 14.

Error Correcting Code Techniques참고 문헌 41인용 수 9

한 줄 요약

이 논문은 기억성을 가진 과정, 특히 비주기적이고 기약가능하며 忘却성인 은닉 마르코프 모형(HMM)에 대해 일반화된 편극화 프레임워크를 제안한다. 아리카안 변환을 사용하여 기억성 있는 과정의 가족 전반에서 오차 확률이 점점 줄어들게 하는 이중 단계의 편극화 부호화 구조(느린 단계와 빠른 단계)를 제안하며, 오차 지수는 2^{-\sqrt{\Lambda}}이며 복잡도는 O(|S|^3 \Lambda \log \Lambda)이다.

ABSTRACT

A transform that is universally polarizing over a set of channels with memory is presented. Memory may be present in both the input to the channel and the channel itself. Both the encoder and the decoder are aware of the input distribution, which is fixed. However, only the decoder is aware of the actual channel being used. The transform can be used to design a universal code for this scenario. The code is to have vanishing error probability when used over any channel in the set, and achieve the infimal information rate over the set. The setting considered is, in fact, more general: we consider a set of processes with memory. Universal polarization is established for the case where each process in the set: (a) has memory in the form of an underlying hidden Markov state sequence that is aperiodic and irreducible, and (b) satisfies a `forgetfulness' property. Forgetfulness, which we believe to be of independent interest, occurs when two hidden Markov states become approximately independent of each other given a sufficiently long sequence of observations between them. We show that aperiodicity and irreducibility of the underlying Markov chain is not sufficient for forgetfulness, and develop a sufficient condition for a hidden Markov process to be forgetful.

연구 동기 및 목표

• 편집기가 채널 지식을 완전히 갖추지 못하더라도 입력 분포를 안다면 기억성 있는 채널에 대한 일반화된 편극화 부호화 체계를 개발하는 것.
• 기억 없는 채널을 넘어서 은닉 마르코프 모형 구조를 가진 과정으로 편극화 이론을 확장하는 것.
• 이러한 과정들이 忘却성임을 보장하는 조건을 설정하여 일반화된 편극화를 가능하게 하는 것.
• 기본 정보율의 하한에 수렴하는 오차 확률이 점점 줄어들고, 비율이 최적화된 성능을 달성하는 과정의 가족 전반에서의 일반화된 성능 확보.

제안 방법

• 이중 단계의 편극화 부호화 구조를 제안: 느린 단계는 일반화된 엔트로피 분할을 위해, 빠른 단계는 아리카안 변환을 사용한 편극화를 위해.
• 공통된 입력 분포와 유한한 忘却성 및 혼합성 조건을 가진 FAIM s/o-과정(유한 알파벳 입력, 기억성 있음)의 가족을 정의.
• ‘기억 상실성’ 성질을 도입: 두 은닉 상태는 그 사이에 긴 관측 시퀀스가 주어지면 약간의 독립성을 갖게 된다.
• 확률적 HMM의 결정론적 등가를 정의함으로써 공동 상태(상태, 관측값) 과정을 정의하여 마르코프 성질을 유지.
• 은닉 상태 체인이 비주기적이고 기약가능하다면 공동(상태, 관측값) 체인 역시 동일한 성질을 가짐을 증명하여 일반화된 편극화를 보장.
• 순차적 취소 디코딩을 적용하여, 가족 전반에서 오차 확률이 2^{-\Lambda^\beta} 이하로 유계임을 보이며, \beta < 1/2 인 임의의 \beta에 대해 유일하게 적용 가능.

실험 결과

연구 질문

• RQ1 기억성을 가진 과정, 특히 은닉 마르코프 모형에 대해 일반화된 편극화를 달성할 수 있는가?
• RQ2 은닉 마르코프 과정에 대해 어떤 조건이 시스템이 忘却성으로 되도록 보장하는가?
• RQ3 은닉 상태 체인의 비주기성과 기약가능성이 忘却성에 충분한가, 아니면 더 강한 조건이 필요한가?
• RQ4 이중 단계의 편극화 부호화 구조가 기억성 있는 과정의 가족 전반에서 기본 정보율에 대해 일반화된 성능을 달성할 수 있는가?
• RQ5 이러한 일반화된 부호의 오차 지수와 복잡도는 무엇인가?

주요 결과

• 제안된 일반화된 편극화 부호는 오차 한계 2^{-\Lambda^\beta}를 가지며, \beta < 1/2 인 임의의 \beta에 대해 기억성 있는 과정의 가족 전반에서 오차 확률이 점점 줄어들게 한다.
• 부호 비율은 과정의 가족 전반에서 기본 정보율 I*에 수렴하여 최적의 비율 성능을 보장한다.
• 비주기성과 기약가능성만으로는 忘却성은 유도되지 않으며, 혼합성과 기억 감쇠 조건을 기반으로 忘却성에 충분한 조건을 도출하였다.
• 이중 단계의 구조—느린 단계는 일반화된 엔트로피 분할을, 빠른 단계는 편극화를 위한 것—은 아리카안 원래의 편극화 부호와 동일한 오차 지수를 달성한다.
• 부호화 및 디코딩의 복잡도는 |S|이 가족 내 모든 과정에서의 최대 상태 수일 때 O(|S|^3 \Lambda \log \Lambda)이다.
• 이 프레임워크는 채널 부호화와 소스 부호화 모두에 적용 가능하며, 기억 없는 설정을 초월하여 기억성 있는 과정으로 일반화된 편극화를 확장한다.