[论文解读] Joint Source-Channel Coding Revisited: Information-Spectrum Approach

Te Sun Han|ArXiv.org|Dec 18, 2007

Wireless Communication Security Techniques参考文献 12被引用 8

一句话总结

本文採用資訊譜方法重新探討聯合信源與信道編碼，為一般信源與信道的可靠傳輸建立緊緻的必要與充分條件。結果顯示，在半強大對偶性（semi-strong converse property）下，廣義的分離原理成立，且必要與充分條件之間存在對偶關係；此外，本文證明了在滿足此性質的信源與信道中，傳統分離定理成立。

ABSTRACT

Given a general source with countably infinite source alphabet and a general channel with arbitrary abstract channel input/channel output alphabets, we study the joint source-channel coding problem from the information-spectrum point of view. First, we generalize Feinstein's lemma (direct part) and Verdu-Han's lemma (converse part) so as to be applicable to the general joint source-channel coding problem. Based on these lemmas, we establish a sufficient condition as well as a necessary condition for the source to be reliably transmissible over the channel with asymptotically vanishing probability of error. It is shown that our sufficient condition is equivalent to the sufficient condition derived by Vembu, Verdu and Steinberg, whereas our necessary condition is shown to be stronger than or equivalent to the necessary condition derived by them. It turns out, as a direct consequence, that separation principle in a relevantly generalized sense holds for a wide class of sources and channels, as was shown in a quite dfifferent manner by Vembu, Verdu and Steinberg. It should also be remarked that a nice duality is found between our necessary and sufficient conditions, whereas we cannot fully enjoy such a duality between the necessary condition and the sufficient condition by Vembu, Verdu and Steinberg. In addition, we demonstrate a sufficient condition as well as a necessary condition for the epsilon-transmissibility. Finally, the separation theorem of the traditional standard form is shown to hold for the class of sources and channels that satisfy the semi-strong converse property.

研究动机与目标

• 將費恩斯坦（Feinstein）與 Verdú-Han 的引理推廣至資訊譜框架下的聯合信源與信道編碼。
• 推導一般信源在一般信道上可靠傳輸的緊緻必要與充分條件。
• 探討必要與充分條件之間的對偶關係，並與 Vembu、Verdú 與 Steinberg 的先前工作進行比較。
• 建立傳統分離定理在推廣設定下成立的條件。
• 描述半強大對偶性在確保分離原理有效性中的角色。

提出的方法

• 將費恩斯坦引理（直接部分）與 Verdú-Han 引理（對面部分）推廣至資訊譜框架下的一般信源與信道。
• 定義資訊譜熵速率 $\underline{H}({\bf V})$ 與資訊譜互資訊 $\underline{I}({\bf X};{\bf Y})$，以分析漸近行為。
• 引入信源與信道的半強大對偶性概念，透過發散子序列的極限定義。
• 建立半強大對偶性與信源與信道編碼中樂觀與悲觀編碼速率相等之間的等價性。
• 利用這些引理與定義，推導 $\varepsilon$-可傳輸性與可靠傳輸的必要與充分條件。
• 證明當信源或信道任一方滿足半強大對偶性時，傳統分離定理以形式 $R_f({\bf V}) < C({\bf W}) \Rightarrow$ 可傳輸性 成立，反之亦然。

实验结果

研究问题

• RQ1 在資訊譜框架下，一般信源在什麼條件下可於一般信道上可靠傳輸？
• RQ2 傳輸的必要與充分條件之間的對偶關係為何？
• RQ3 在何種意義下，分離原理對一般信源與信道成立？其在何種條件下等價於經典分離定理？
• RQ4 半強大對偶性在信源與信道編碼中的作業意義為何？
• RQ5 所提出的框架與 Vembu、Verdú 與 Steinberg 所建立的條件相比，有何改進或差異？

主要发现

• 本文提出的充分條件與 Vembu、Verdú 與 Steinberg 所推導的充分條件等價，確認了緊緻性。
• 本文推導的必要條件嚴格強於或等同於 Vembu、Verdú 與 Steinberg 工作中的必要條件，顯示出更佳的特徵化。
• 本文建立了必要與充分條件之間的對偶關係，此對偶性在 Vembu、Verdú 與 Steinberg 的先前工作中並未完全呈現。
• 當信源或信道任一方滿足半強大對偶性時，傳統分離定理以標準形式成立。
• 半強大對偶性等價於可實現固定長度信源編碼速率的下確界 $R_f({\bf V})$ 與其下限 $\underline{R}_f({\bf V})$ 相等，信道容量亦同理。
• 混合信源與信道（例如記憶消失信源/信道的凸組合）即使缺乏資訊穩定性或強大對偶性，亦可滿足半強大對偶性，進而容許分離。