[논문 리뷰] Jar Decoding: Non-Asymptotic Converse Coding Theorems, Taylor-Type Expansion, and Optimality

En‐hui Yang, Jin Meng|arXiv (Cornell University)|2012. 04. 16.

DNA and Biological Computing참고 문헌 3인용 수 11

한 줄 요약

이 논문은 비점근적 역설 정리들을 이용해 잼 디코딩(jar decoding)이 유한 블록길이 채널 부호화에서 이阶수 최적임을 입증한다. 외부 거울상 기법(outer mirror image of jar)을 활용해 새로운 비점근적 역설 정리를 유도하며, 최적 부호화 속도 $ R_n(\theta) $ 가 $ \delta_{t,n}(\epsilon) $ 에 대한 타일러 유형 전개를 갖는다고 보여주며, 첫 두 항은 용량을 달성하는 상호정보량에서 수정항을 뺀 형태이다. 또한 NEP 근사 공식이 $ R_n(\epsilon) $ 를 추정하는 데 가장 정확하며, 정규 근사와 SO 근사보다 뛰어난 성능을 보임을 증명한다.

ABSTRACT

Recently, a new decoding rule called jar decoding was proposed; under jar decoding, a non-asymptotic achievable tradeoff between the coding rate and word error probability was also established for any discrete input memoryless channel with discrete or continuous output (DIMC). Along the path of non-asymptotic analysis, in this paper, it is further shown that jar decoding is actually optimal up to the second order coding performance by establishing new non-asymptotic converse coding theorems, and determining the Taylor expansion of the (best) coding rate $R_n (ε)$ of finite block length for any block length $n$ and word error probability $ε$ up to the second order. Finally, based on the Taylor-type expansion and the new converses, two approximation formulas for $R_n (ε)$ (dubbed "SO" and "NEP") are provided; they are further evaluated and compared against some of the best bounds known so far, as well as the normal approximation of $R_n (ε)$ revisited recently in the literature. It turns out that while the normal approximation is all over the map, i.e. sometime below achievable bounds and sometime above converse bounds, the SO approximation is much more reliable as it is always below converses; in the meantime, the NEP approximation is the best among the three and always provides an accurate estimation for $R_n (ε)$. An important implication arising from the Taylor-type expansion of $R_n (ε)$ is that in the practical non-asymptotic regime, the optimal marginal codeword symbol distribution is not necessarily a capacity achieving distribution.

연구 동기 및 목표

• 모든 채널 부호화 방식, 특히 유한 블록길이에 대해 비점근적 역설 부호화 정리를 수립하기 위해.
• 유한한 $ n $ 과 오류 확률 $ \epsilon $ 에 대해 최대로 달성 가능한 부호화 속도 $ R_n(\epsilon) $ 를 이阶수 성능까지 결정하기 위해.
• 잼 디코딩의 최적성을 입증하기 위해, 그 성능가 이阶수 점근적 한계와 일치함을 보여주기 위해.
• SO 및 NEP를 포함한 정확한 근사 공식을 개발하고, 알려진 경계와의 비교를 통해 그 신뢰성을 평가하기 위해.
• 비점근적 영역에서, 부호어 기호에 대한 최적 입력 분포가 반드시 용량을 달성하는 분포가 아니라는 것을 드러내기 위해.

제안 방법

• 모든 인코딩 및 디코딩 방식에 적용 가능한 비점근적 역설 정리를 도출하기 위해 '잼의 외부 거울상 기법(outer mirror image of jar)' 이라는 새로운 역설 증명 기법을 도입한다.
• 주어진 입력 분포 $ t $ 에 대해 오류 확률 $ \epsilon $ 와 블록길이 $ n $ 의 상대적 크기를 측정하기 위해 핵심 양 $ \delta_{t,n}(\epsilon) $ 을 정의한다.
• 최적 부호화 속도 $ R_n(\epsilon) $ 를 $ \delta_{t,n}(\epsilon) $ 에 대해 타일러 유형 전개하며, 첫 두 항이 $ \max_t[I(t;P) - \delta_{t,n}(\epsilon)] $ 로 구성됨을 확립한다.
• 특히 $ \delta_{t^*,n}(\epsilon) = \Omega(\sqrt{\ln n / n}) $ 일 때, 세 번째 항이 $ O(\delta_{t^*,n}^2(\epsilon)) $ 임을 보여주며, 잼 디코딩의 이阶수 최적성 확인.
• 타일러 전개와 비점근적 역설 정리를 바탕으로 'SO' 및 'NEP' 근사 공식을 제안한다.
• 기존 경계 및 정규 근사와의 비교를 통해 SO 및 NEP 근사의 성능을 평가하며, NEP의 뛰어난 정확도를 입증한다.

실험 결과

연구 질문

• RQ1 유한 블록길이에서 잼 디코딩은 이阶수 부호화 성능까지 최적인가?
• RQ2 특정 방식에 국한되지 않고 모든 인코딩 및 디코딩 방식에 적용 가능한 비점근적 역설 정리를 도출할 수 있는가?
• RQ3 최적 부호화 속도 $ R_n(\epsilon) $ 는 $ \delta_{t,n}(\epsilon) $ 에 대한 타일러 유형 전개를 갖는가? 그리고 주요 항은 무엇인가?
• RQ4 SO 및 NEP 근사 공식은 기존 경계 및 정규 근사와 비교해 $ R_n(\epsilon) $ 를 추정할 때 어떻게 성능을 보이는가?
• RQ5 오류 확률 $ \epsilon $ 를 고려한 유한 블록길이 부호화에서 최적 입력 분포가 반드시 용량을 달성하는 분포인가?

주요 결과

• 새로운 비점근적 역설 정리에 의해, 잼 디코딩이 최적의 이阶수 부호화 성능을 달성함을 확인하였다.
• 최적 부호화 속도 $ R_n(\epsilon) $ 는 $ \delta_{t,n}(\epsilon) $ 에 대한 타일러 유형 전개를 갖으며, 첫 두 항은 $ \max_t[I(t;P) - \delta_{t,n}(\epsilon)] $ 이고, 조건 $ \delta_{t^*,n}(\epsilon) = \Omega(\sqrt{\ln n / n}) $ 하에 세 번째 항은 $ O(\delta_{t^*,n}^2(\epsilon)) $ 이다.
• $ R_n(\epsilon) $ 에 대한 NEP 근사 공식은 테스트된 세 가지(NEP, SO, 정규 근사) 중에서 가장 정확하며, 일관되게 신뢰할 수 있는 추정치를 제공한다.
• SO 근사는 신뢰성 있고 항상 역설 경계 이하에 위치하므로, 달성 가능한 속도를 과도하게 추정하지 않는다.
• 정규 근사는 일관되지 않으며, 때로는 달성 가능한 경계 이하에 위치하고 때로는 역설 경계를 초과하여, 유한 블록길이에서는 신뢰할 수 없다.
• 비점근적 영역에서, $ I(t;P) - \delta_{t,n}(\epsilon) $ 를 최대화하는 최적 입력 분포 $ t^* $ 는 일반적으로 용량을 달성하는 분포가 아니며, 특히 비대칭 채널에서는 그렇지 않다.