[論文レビュー] The MMI Decoder is Asymptotically Optimal for the Typical Random Code and for the Expurgated Code

Ran Tamir, Neri Merhav|arXiv (Cornell University)|Jul 23, 2020

Wireless Communication Security Techniques参考文献 14被引用数 8

ひとこと要約

本稿は、離散メモリレス通信路（DMC）において、典型確率的符号（TRC）および除去符号（expurgated code）の両方に対して、最大相互情報量（MMI）デコーダが漸近的に最適であることを証明している。MMIデコーダは、最適な最大尤度（ML）デコーダと同一の誤り指数を達成する。証明は非自明である。なぜなら、通常の確率的符号解析で用いられる期待値の交換を避けており、代わりに大偏差と指数的バウンドを用いて、TRCおよび除去符号集合における誤り指数性能の同等性を確立しているためである。

ABSTRACT

We provide two results concerning the optimality of the maximum mutual information (MMI) decoder. First, we prove that the error exponents of the typical random codes under the optimal maximum likelihood (ML) decoder and the MMI decoder are equal. As a corollary to this result, we also show that the error exponents of the expurgated codes under the ML and the MMI decoders are equal. These results strengthen the well known result due to Csiszár and Körner, according to which, these decoders achieve equal random coding error exponents, since the error exponents of the typical random code and the expurgated code are strictly higher than the random coding error exponents, at least at low coding rates. While the universal optimality of the MMI decoder, in the random-coding error exponent sense, is easily proven by commuting the expectation over the channel noise and the expectation over the ensemble, when it comes to typical and expurgated exponents, this commutation can no longer be carried out. Therefore, the proof of the universal optimality of the MMI decoder must be completely different and it turns out to be highly non-trivial.

研究の動機と目的

• 確率的符号の誤り指数を超えて、高階の典型確率的符号（TRC）および除去符号集合に対して、MMIデコーダの普遍的最適性を確立すること。
• 低レートにおける除去符号の誤り指数が、標準的確率的符号の誤り指数を厳密に上回ることを踏まえ、MMIデコーダが除去符号の誤り指数に達するかどうかという未解決の問題を解消すること。
• 期待値の交換に依存する従来の技術が適用できないTRCにおいて、MMI最適性の非自明な証明を提供すること。

提案手法

• 一般化尤度デコーダ（GLD）フレームワークを用いて、TRCの誤り指数に対する単一変数表現を導出。これにより、MMIデコーディングと比較可能となる。
• 大偏差解析と指数的バウンドを用いて、典型コードブック実現におけるMMIデコーダの誤り確率を上界で抑え、特に典型コードブックに注目する。
• 条件付き分布 $ Q_{X'\mid X} $ に関して、相互情報量および入力分布の制約を満たすように、ラグランジュ型の式を最小化する変分的アプローチを用いる。
• 誤り確率の $ \rho $ 階モーメントを用いて誤り指数の下界を導出し、誤り確率が指数的に小さいコードの存在を示すために、マーカフの不等式を適用する。
• TRCの誤り指数と除去符号の境界との間に双対性を確立。これにより、構造的類似性を活用して、同じ最適性結果を除去符号へ拡張可能となる。
• 固定構成コードにおけるMMIデコーダが、最小条件付き経験エントロピーデコーダと同等であることに着目。これにより、スレピアン＝ウルフ符号化における既知の結果と比較可能となる。

実験結果

リサーチクエスチョン

• RQ1 MMIデコーダは、標準的確率的符号よりも高い誤り指数を持つ典型確率的符号（TRC）に対し、最適な最大尤度（ML）デコーダと同等の誤り指数を達成するか？
• RQ2 期待値の交換が成立しないTRCおよび除去符号集合において、MMIデコーダの普遍的最適性は確率的符号を超えて拡張可能か？
• RQ3 特に低レートにおいて、MMIデコーダが除去符号に対して最適であり、最適なMLデコーダと同等の誤り指数を達成するか。この場合、先行研究が存在しない。
• RQ4 コードブック実現の典型性が誤り指数に与える役割は何か。また、MMIのような普遍的デコーダの性能にどのように影響するか？
• RQ5 TRCに用いられた証明技法を、一般化されたRGV符号などの他の符号集合へ応用可能か。これにより、さらに高い誤り指数を達成可能か？

主な発見

• MMIデコーダにおける典型確率的符号（TRC）の誤り指数は、最適な最大尤度（ML）デコーダの誤り指数と正確に一致する。これにより、TRCにおけるMMIデコーディングの漸近的最適性が証明される。
• 除去符号におけるMMIデコーダの誤り指数は、MLデコーダの誤り指数と一致する。これにより、除去符号に対するMMIデコーダの普遍性に関する未解決問題が解決された。
• 証明は、チャネル雑音とコードブックの確率的性質の期待値の交換に依存しない。従って、従来の確率的符号証明とは根本的に異なり、より複雑である。
• TRCの誤り指数と除去符号の境界には構造的類似性がある。これにより、同じ最適性結果をTRCから除去符号へ拡張可能となる。
• モーメントバウンドとマーカフの不等式を用いて、誤り確率が指数的に小さいコードの存在が示され、既知の上界と一致する誤り指数の下界が確立された。
• この結果は、MMIデコーダが確率的符号の意味での漸近的最適性に加え、高階のTRCおよび除去符号の意味でも最適であることを示唆しており、より強力な普遍的デコーダであることを示している。