[논문 리뷰] Fixed Error Asymptotics For Erasure and List Decoding

Vincent Y. F. Tan, Pierre Moulin|arXiv (Cornell University)|2014. 02. 20.

Wireless Communication Security Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 이산 메모리리스 채널에서 삭제 복원 및 리스트 복원에 대한 두 번째 차수 游근을 유도하며, 삭제 복원의 두 번째 차수 용량이 $\sqrt{V}\Phi^{-1}(\epsilon_{\mathrm{t}})$임을 보여주고 있다. 여기서 $V$ 는 채널 분산이고 $\epsilon_{\mathrm{t}}$ 는 고정된 총 오류 확률이다. 리스트 크기가 $\exp(\sqrt{n}l)$인 리스트 복원의 경우, 두 번째 차수 용량은 $l + \sqrt{V}\Phi^{-1}(\epsilon)$이며, 다항식 크기의 리스트에 대해 제3차 항의 경계도 제시한다.

ABSTRACT

We derive the optimum second-order coding rates, known as second-order capacities, for erasure and list decoding. For erasure decoding for discrete memoryless channels, we show that second-order capacity is $\sqrt{V}Φ^{-1}(ε_t)$ where $V$ is the channel dispersion and $ε_t$ is the total error probability, i.e., the sum of the erasure and undetected errors. We show numerically that the expected rate at finite blocklength for erasures decoding can exceed the finite blocklength channel coding rate. We also show that the analogous result also holds for lossless source coding with decoder side information, i.e., Slepian-Wolf coding. For list decoding, we consider list codes of deterministic size that scales as $\exp(\sqrt{n}l)$ and show that the second-order capacity is $l+\sqrt{V}Φ^{-1}(ε)$ where $ε$ is the permissible error probability. We also consider lists of polynomial size $n^α$ and derive bounds on the third-order coding rate in terms of the order of the polynomial $α$. These bounds are tight for symmetric and singular channels. The direct parts of the coding theorems leverage on the simple threshold decoder and converses are proved using variants of the hypothesis testing converse.

연구 동기 및 목표

• 고정된, 감소하지 않는 오류 확률 하에서 삭제 복원 및 리스트 복원의 두 번째 차수 游근 한계를 설정하기.
• 총 오류 확률 $\epsilon_{\mathrm{t}}$ 에만 의존하는 삭제 복원의 두 번째 차수 용량을 규명하고, 이는 미발견 오류 확률에 영향을 받지 않음을 보여주기.
• 비상수 리스트 크기를 갖는 리스트 복원 분석으로 확장하기, 특히 지수적 및 다항식 증가율을 포함하여.
• 유한 블록길이 성능 경계를 유도하고, 삭제를 포함한 평균 수신 속도가 표준 채널 부호화 속도를 초과할 수 있음을 보여주기.
• Slepian-Wolf 소스 부호화 문제에 결과를 일반화하여 디코더 측면 정보가 있는 경우에 적용하기.

제안 방법

• 임계값 디코더와 가설 검정 반증 기법을 사용하여 삭제 복원의 두 번째 차수 용량을 유도한다.
• Berry-Esseen 정리를 적용하여 경험적 조건부 엔트로피의 분포를 근사하고 오류 확률을 경계한다.
• 유형 클래스 수세기와 바인딩 논증을 사용하여 Slepian-Wolf 환경에서의 미발견 오류 확률을 경계한다.
• 총 오류 확률을 제어하기 위해 경험적 조건부 엔트로피 $\hat{H}(\mathbf{x}|\mathbf{y})$ 를 기반으로 한 임계값 기반 삭제 규칙을 도입한다.
• 리스트 크기가 $\exp(\sqrt{n}l)$ 와 $n^\alpha$ 인 리스트 복원을 분석하고, 정보 스펙트럼 방법을 통해 두 번째 및 세 번째 차수 游근을 도출한다.
• 마르코프 부등식과 농도 경계를 사용하여 오류 확률을 제어하고 존재성 증명을 확립한다.

실험 결과

연구 질문

• RQ1 총 오류 확률 $\epsilon_{\mathrm{t}}$ 가 고정되어 있을 때 삭제 복원의 두 번째 차수 용량은 무엇인가?
• RQ2 유한 블록길이 삭제 복원에서 평균 수신 속도가 표준 채널 부호화 속도를 초과할 수 있는가?
• RQ3 리스트 크기가 $\exp(\sqrt{n}l)$ 인 리스트 복원의 두 번째 차수 용량은 무엇인가?
• RQ4 다항식 크기의 리스트 $n^\alpha$ 에 대해 제3차 부호 속도는 어떻게 행동하는가?
• RQ5 삭제 및 리스트 복원의 두 번째 및 세 번째 차수 游근이 측면 정보가 있는 Slepian-Wolf 소스 부호화 문제로 확장되는가?

주요 결과

• 삭제 복원의 두 번째 차수 용량은 $\sqrt{V}\Phi^{-1}(\epsilon_{\mathrm{t}})$ 이며, 이는 미발견 오류 확률에 영향을 받지 않으며, $V$ 는 채널 분산이고 $\epsilon_{\mathrm{t}}$ 는 총 오류 확률이다.
• 유한 블록길이 삭제 복원은 오류 확률 감소와 신뢰성 향상으로 인해 표준 채널 부호화보다 높은 평균 수신 속도를 달성할 수 있다.
• 리스트 크기가 $\exp(\sqrt{n}l)$ 인 리스트 복원의 경우, 두 번째 차수 용량은 $l + \sqrt{V}\Phi^{-1}(\epsilon)$ 이며, 여기서 $\epsilon$ 은 진짜 메시지가 리스트에 포함되지 않을 확률이다.
• 다항식 크기의 리스트 $n^\alpha$ 에 대해 제3차 부호 속도는 경계되어 있으며, 이 경계는 이진 삭제 채널와 같은 대칭적이고 특이한 채널에서 날카롭게 맞는다.
• 결과는 측면 정보가 있는 Slepian-Wolf 소스 부호화 문제로 확장되며, 고정된 총 오류 확률 $\epsilon_{\mathrm{t}}$ 에 대해 두 번째 차수 용량은 $\sqrt{V(X|Y)}\Phi^{-1}(1 - \epsilon_{\mathrm{t}})$ 이다.
• 반증 증명은 가설 검정 반증의 변형에 기반하며, 존재성은 임계값 디코딩과 바인딩을 통한 유형 기반 분석을 통해 보여진다.