[논문 리뷰] The MMI Decoder is Asymptotically Optimal for the Typical Random Code and for the Expurgated Code

Ran Tamir, Neri Merhav|arXiv (Cornell University)|2020. 07. 23.

Wireless Communication Security Techniques참고 문헌 14인용 수 8

한 줄 요약

이 논문은 이산 메모리리스 채널(DMCs)에서 일반적인 랜덤 코드(TRC) 및 추출된 코드(expurgated code)에 대해 최대 상호정보량(MMI) 디코더가 渐近적으로 최적임을 증명한다. 이는 최적의 최대우도(ML) 디코더와 동일한 오차 지수를 달성한다. 증명은 표준 랜덤 코딩 분석에서 사용하는 기대값의 교환을 피하기 때문에 비틀림이 있다. 대신, 대규수 분석과 지수적 경계를 활용하여 TRC 및 추출된 코드 집합에서 오차 지수 성능이 동등함을 입증한다.

ABSTRACT

We provide two results concerning the optimality of the maximum mutual information (MMI) decoder. First, we prove that the error exponents of the typical random codes under the optimal maximum likelihood (ML) decoder and the MMI decoder are equal. As a corollary to this result, we also show that the error exponents of the expurgated codes under the ML and the MMI decoders are equal. These results strengthen the well known result due to Csiszár and Körner, according to which, these decoders achieve equal random coding error exponents, since the error exponents of the typical random code and the expurgated code are strictly higher than the random coding error exponents, at least at low coding rates. While the universal optimality of the MMI decoder, in the random-coding error exponent sense, is easily proven by commuting the expectation over the channel noise and the expectation over the ensemble, when it comes to typical and expurgated exponents, this commutation can no longer be carried out. Therefore, the proof of the universal optimality of the MMI decoder must be completely different and it turns out to be highly non-trivial.

연구 동기 및 목표

• 랜덤 코딩 오차 지수를 초월하여, 고차원 일반적인 랜덤 코드(TRC) 및 추출된 코드 집합에 대해 MMI 디코더의 보편적 최적성을 확립하는 것.
• 낮은 신호대역비에서 표준 랜덤 코딩 지수보다 높은 추출된 코드 오차 지수를 달성할 수 있는지에 대한 열린 문제를 해결하는 것.
• 표준 기법이 채널 노이즈와 코드북 랜덤성의 기대값 교환에 의존하지 않는 TRC에서 MMI 최적성에 대한 비틀림 있는 증명을 제공하는 것.

제안 방법

• 일반화된 우도 디코더(Generic Likelihood Decoder, GLD) 프레임워크를 사용하여 TRC 오차 지수에 대한 단일기수 표현을 유도함으로써 MMI 디코딩과의 비교를 가능하게 한다.
• 대규수 분석과 지수적 경계를 활용하여, 일반적인 코드북 실현값에 대해 TRC에서 MMI 디코더의 오차 확률을 상한으로 제시한다.
• 조건부 분포 $ Q_{X'\mid X} $ 에 대해 라그랑주 유형의 표현식을 최소화하는 변분적 접근법을 사용하며, 상호정보량 및 입력 분포 조건에 의해 제약된다.
• 마르코프 부등식을 적용하여, 최대 오차 확률이 낮은 코드의 존재를 보이며, 오차 확률의 $ \rho $-번째 모멘트를 활용하여 오차 지수의 하한을 유도한다.
• TRC 지수와 추출된 경계 사이의 이중성(duality)을 수립함으로써, 동일한 최적성 결과가 TRC에서 추출된 코드로 확장될 수 있음을 보장한다.
• 고정 구성 코드에서 MMI 디코더가 조건부 경험 엔트로피를 최소화하는 디코더와 동치임을 이용하여, 슬렙얀-울프 코딩에서 알려진 결과와의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 MMI 디코더는 일반적인 랜덤 코드(TRC)에서 최대우도(ML) 디코더와 동일한 오차 지수를 달성하는가? TRC는 표준 랜덤 코딩보다 높은 오차 지수를 가진다.
• RQ2 기대값 교환 기법이 실패하는 TRC 및 추출된 코드 집합으로 확장하여 MMI 디코더의 보편적 최적성이 유지되는가?
• RQ3 특히, 이전 결과가 없는 상황에서 MMI 디코더가 추출된 코드에 대해 최적인지, 즉 ML 디코더와 동일한 오차 지수를 달성하는가?
• RQ4 코드북 실현값의 일반성(typically)이 오차 지수 결정에 미치는 역할은 무엇이며, 이는 MMI와 같은 보편 디코더의 성능에 어떻게 영향을 미치는가?
• RQ5 TRC에 사용된 증명 기법을 일반화된 RGV 코드와 같은 다른 코드 집합으로 적응시켜 더 높은 오차 지수를 달성할 수 있는가?

주요 결과

• MMI 디코더 하에서 일반적인 랜덤 코드(TRC)의 오차 지수는 최적의 최대우도(ML) 디코더와 정확히 동일하며, 이는 TRC에 대한 MMI 디코딩의 渐近적 최적성을 입증한다.
• MMI 디코더 하에서 추출된 코드의 오차 지수는 ML 디코더와 정확히 일치하며, 이는 이 클래스의 코드에 대해 MMI 디코딩의 보편성에 대한 열린 문제를 해결한다.
• 증명은 채널 노이즈와 코드북 랜덤성의 기대값 교환에 의존하지 않으며, 따라서 표준 랜덤 코딩 증명과는 근본적으로 다르고 더 복잡하다.
• TRC 지수와 추출된 경계는 구조적 유사성을 공유하며, 이는 동일한 최적성 결과가 TRC에서 추출된 코드로 확장될 수 있음을 가능하게 한다.
• 모멘트 경계와 마르코프 부등식을 활용하여, 지수적으로 작은 최대 오차 확률을 갖는 코드의 존재를 입증함으로써, 알려진 상한과 일치하는 오차 지수의 하한을 확립한다.
• 결과적으로 MMI 디코더는 랜덤 코딩의 관점 뿐 아니라 고차원 TRC 및 추출된 코드의 관점에서도 渐近적으로 최적임을 의미하며, 더 강력한 보편 디코더가 된다.