[논문 리뷰] Empirical distribution of good channel codes with non-vanishing error probability (extended version)

Yury Polyanskiy, Sergio Verdú|arXiv (Cornell University)|2013. 08. 31.

Wireless Communication Security Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 오차 확률이 0으로 수렴하지 않는 양호한 채널 코드에 대해, 경험적 출력 분포가 강한 의미에서 용량을 실현하는 출력 분포에 매우 가까이 수렴함을 규명한다. 측도 집중 및 등면성 이론을 활용하여, 채널 출력의 정규 함수들은 본질적으로 무작위적이지 않으며 특정 코드에 의존하지 않음을 보이고, AWGN 코드에서의 이차 및 고차수 모멘트가 i.i.d. 가우시안 코드워드의 모멘트로 수렴함을 밝힌다.

ABSTRACT

This paper studies several properties of channel codes that approach the fundamental limits of a given (discrete or Gaussian) memoryless channel with a non-vanishing probability of error. The output distribution induced by an $ε$-capacity-achieving code is shown to be close in a strong sense to the capacity achieving output distribution. Relying on the concentration of measure (isoperimetry) property enjoyed by the latter, it is shown that regular (Lipschitz) functions of channel outputs can be precisely estimated and turn out to be essentially non-random and independent of the actual code. It is also shown that the output distribution of a good code and the capacity achieving one cannot be distinguished with exponential reliability. The random process produced at the output of the channel is shown to satisfy the asymptotic equipartition property. Using related methods it is shown that quadratic forms and sums of $q$-th powers when evaluated at codewords of good AWGN codes approach the values obtained from a randomly generated Gaussian codeword.

연구 동기 및 목표

• 오차 확률이 0으로 수렴하지 않을 경우, 양호한 채널 코드의 경험적 출력 분포를 특성화하는 것.
• 이전 결과에서 오차가 0으로 수렴하는 조건이 필요로 했던 코드북 분포 수렴을, 오차가 0으로 수렴하지 않는 영역으로 확장하는 것.
• 정규 함수들(regular functions)이 채널 출력에 대해 강하게 집중되어 있으며, 코드 설계에 거의 영향을 받지 않는다는 것을 보이는 것.
• 양호한 코드의 출력 분포가 지수적 신뢰도로 용량을 실현하는 분포와 구별될 수 없다는 것을 입증하는 것.
• 양호한 AWGN 코드에서 이차형과 q차형 합의 모멘트가 i.i.d. 가우시안 코드워드의 모멘트로 수렴함을 보이는 것.

제안 방법

• 용량을 실현하는 출력 분포의 측도 집중(등면성 이론) 성질을 활용하여, 채널 출력의 정규 함수(특히 리프시츠 함수)의 행동을 분석한다.
• 상대 엔트로피 한계를 사용하여, 양호한 코드의 출력 분포와 용량을 실현하는 분포 사이의 거리를 정량화한다.
• 가우시안 등면성 부등식을 적용하여, 용량을 실현하는 측도 하에서 채널 출력의 ℓ4 및 ℓ2 노름에 대한 尾확률(꼬리 확률)을 유도한다.
• β-분산과 그 하한을 활용하여, 코드의 출력 분포와 용량을 실현하는 분포를 비교하며, 양호한 코드가 용량에 O(√n) 이내의 비율로 도달한다는 사실을 이용한다.
• Typical set에서의 편차 항을 포함한 수정된 버전의 보조정리 11을 통해 코드워드의 ℓ4 노름 기대값에 하한을 도출한다.
• 삼각 부등식과 민코프스키 합 성질을 활용하여, 서로 다른 노름에 대한 집중 한계를 조합함으로써 출력 분포에 대한 지수적 꼬리 한계를 이끌어낸다.

실험 결과

연구 질문

• RQ1 오차 확률이 0으로 수렴하지 않는 양호한 채널 코드의 출력 분포는 용량을 실현하는 출력 분포와 어떻게 비교될 수 있는가?
• RQ2 오차 확률이 0에서 멀리 떨어져 있을 때, 채널 출력의 정규 함수들은 특정 코드에 의존하지 않고 근사될 수 있는가?
• RQ3 어느 정도의 지수적 신뢰도로, 양호한 코드의 출력 분포를 용량을 실현하는 분포와 구별할 수 있는가?
• RQ4 같은 비율과 오차 조건 하에서, AWGN 코드의 이차 및 고차수 모멘트가 i.i.d. 가우시안 코드워드의 모멘트로 수렴하는가?
• RQ5 용량에 O(√n) 이내로 도달하는 코드에서, 코드워드의 ℓ4 노름과 전력 제약 조건 사이의 관계는 어떠한가?

주요 결과

• ϵ-용량을 실현하는 코드의 출력 분포와 용량을 실현하는 출력 분포 사이의 정규화된 상대 엔트로피는 용량과 코드 비율의 차이로 상한이 주어진다.
• β-분산 한계에 의해, 양호한 코드의 출력 분포와 용량을 실현하는 분포는 지수적 신뢰도로 구별될 수 없으며, 이는 exp(−b₁δ²√n)의 속도로 감소하는 것으로 나타난다.
• 채널 출력의 정규 함수들의 분포는 용량을 실현하는 측도 하에서 기대값 주위에 강하게 집중되어 있으며, 이는 이 함수들이 본질적으로 무작위적이지 않고 코드 설계에 영향을 받지 않는다는 것을 의미한다.
• 용량에 O(√n) 이내로 도달하는 AWGN 코드에서는, 출력의 네제곱 합의 기대값이 i.i.d. 가우시안 코드워드의 기대값으로 수렴하며, 이에 따라 n^{1/4} 정도의 편차 항이 존재한다.
• 출력 벡터의 ℓ4 노름은 6^{1/4}√(1+P)n^{1/4} 주위에 강하게 집중되어 있으며, 꼬리 확률은 exp(−b₁δ²√n)로 상한이 주어져 강한 집중 현상을 보인다.
• O(√n)-비율 코드에서 코드워드의 ℓ4 노름을 제어할 수 없음으로 인해, ℓ6 노름에 대한 한계를 확립하는 데 실패하였으며, 이는 반례를 통해 입증되었다.