[論文レビュー] Subset Typicality Lemmas and Improved Achievable Regions in Multiterminal Source Coding

Kumar Viswanatha, Emrah Akyol+1 more|arXiv (Cornell University)|May 6, 2012

Wireless Communication Security Techniques参考文献 7被引用数 3

ひとこと要約

本稿では、特にマルチユーザー・グレイ＝ワイナーネットワークを対象として、マルチターミナル・ソース符号化における達成可能レート領域を厳密に改善するため、部分集合典型性補題を導入する。標準的な多次元被覆補題が全コード語にわたるグローバルな連関分布に依存するのを、各部分集合内でのみ制約を受ける最大エントロピー関数への置き換えにより、全コード語にわたる典型性を仮定しないまま、より大きなレート領域を達成する。

ABSTRACT

Consider the following information theoretic setup wherein independent codebooks of N correlated random variables are generated according to their respective marginals. The problem of determining the conditions on the rates of codebooks to ensure the existence of at least one codeword tuple which is jointly typical with respect to a given joint density (called the multivariate covering lemma) has been studied fairly well and the associated rate regions have found applications in several source coding scenarios. However, several multiterminal source coding applications, such as the general multi-user Gray-Wyner network, require joint typicality only within subsets of codewords transmitted. Motivated by such applications, we ask ourselves the conditions on the rates to ensure the existence of at least one codeword tuple which is jointly typical within subsets according to given per subset joint densities. This report focuses primarily on deriving a new achievable rate region for this problem which strictly improves upon the direct extension of the multivariate covering lemma, which has quite popularly been used in several earlier work. Towards proving this result, we derive two important results called `subset typicality lemmas' which can potentially have broader applicability in more general scenarios beyond what is considered in this report. We finally apply the results therein to derive a new achievable region for the general multi-user Gray-Wyner network.

研究の動機と目的

• 全コード語にわたる完全な連関典型性を仮定する従来のレート領域の制限を解消し、実用的状況では不必要に制限的であるとされる条件を緩和すること。
• 特定のコード語部分集合内でのみ典型性が要求されるマルチターミナル・ソース符号化の新たな達成可能レート領域を構築すること。これは、マルチユーザー・グレイ＝ワイナーネットワークのようなネットワークで必要とされる。
• 標準的な多次元被覆補題の拡張（全部分集合に共通するグローバルな連関分布を仮定）に対して、新しい領域の優位性を形式的に確立し、証明すること。
• 特定のネットワークモデルを超えて広く応用可能な一般化された補題（「部分集合典型性補題」）を導出し、情報理論分野における応用を拡大すること。
• 3ユーザー損失なしグレイ＝ワイナーネットワークに新しい領域を適用し、従来手法に比べて性能向上を実証すること。

提案手法

• 指定された部分集合内でのコード語タプルの同時典型性を特徴付ける2つの新しい「部分集合典型性補題」を提案する。各補題は、各部分集合ごとの連関分布に基づく。
• 標準的な多次元被覆補題が要求するグローバル連関分布 $\tilde{P}(X_1,\ldots,X_N)$ の代わりに、各部分集合の制約を満たす分布の上でのエントロピー関数 $H^*(\tilde{P}(\{X\}_{\mathcal{J}})|\mathbf{X})$ の最大化を導入する。
• 達成可能レート領域を、すべての部分集合 $\mathcal{J}$ に対して $\sum_{i\in\mathcal{J}} R_i \geq \sum_{i\in\mathcal{J}} H(X_i) - H^*(\tilde{P}(\{X\}_{\mathcal{J}})|\mathbf{X})$ を満たすすべてのレートタプルの凸包として定義する。ここで最大値は、与えられた各部分集合の密度と整合する分布の上でのものとする。
• 3ユーザー損失なしグレイ＝ワイナーネットワークに新しい領域を適用し、各デコーダの受信信号に対応するコード語の部分集合に分類し、各デコーダの受信部分集合内でのみ同時典型性が保証される新しい領域を導出する。
• 符号化構造をモデル化するため、補助確率変数 $U_{123}, U_{12}, U_{13}, U_{23}$ を用いたマルコフ連鎖構造を定義し、条件付きエントロピーと部分集合エントロピーの最大化に基づくレート制約を導出する。
• 新しい領域が標準的な多次元被覆補題の拡張よりも厳密に優れていることを証明する。具体的には、部分集合制約付き分布の上での最大エントロピー関数が、より大きな実現可能レート領域を生じることを示す。

実験結果

リサーチクエスチョン

• RQ1 コード語の部分集合内でのみ典型性が要求される場合、全コード語にわたる典型性を仮定する標準的な多次元被覆補題は改善可能か？
• RQ2 各部分集合の指定された連関分布に従って、コード語タプルが各部分集合内で同時に典型であることを保証するコードブックレートの条件は何か？
• RQ3 グローバル連関分布の仮定を部分集合固有のエントロピー最大化に置き換えた場合、達成可能レート領域はどのように変化するか？
• RQ4 どの状況で、部分集合典型性のみを強制することで、全典型性を仮定する場合よりも厳密に大きなレート領域が得られるか？
• RQ5 提案された部分集合典型性補題は、マルチユーザー・グレイ＝ワイナーネットワークを越えて、他のマルチターミナル・ソース符号化問題へ一般化・応用可能か？

主な発見

• 標準的な多次元被覆補題の拡張に対して、グローバル連関分布を部分集合制約付きエントロピー最大化に置き換えることで、提案されたレート領域は厳密に改善されている。
• 部分集合典型性補題により、各部分集合内での同時典型性を持つコード語タプルの存在が保証される。その条件は、$\sum_{i\in\mathcal{J}} R_i \geq \sum_{i\in\mathcal{J}} H(X_i) - H^*(\tilde{P}(\{X\}_{\mathcal{J}})|\mathbf{X})$ を満たすときであり、ここで $H^*$ は各部分集合の制約と整合する分布の上での最大エントロピーである。
• 3ユーザー損失なしグレイ＝ワイナーネットワークにおいて、新しい領域は従来手法では達成不可能なレートタプルを含んでおり、特に部分集合エントロピー最大化の競合が生じるソース分布の場合に顕著である。
• 新しい領域は凸包に関して閉じており、すべての条件付き分布 $P(U_{123},U_{12},U_{13},U_{23}|X_1,X_2,X_3)$ の上に定義されているため、広範な応用が可能である。
• マルチユーザー・グレイ＝ワイナーネットワークのようなネットワークでは、全コード語にわたる典型性を強制する必要がなく、その代わりに部分集合内での典型性のみがデコーディングに必要であるため、全典型性を仮定することで生じる性能損失を回避できる。
• $L$-ユーザー設定（$L \geq 3$）では、異なる部分集合でのエントロピー最大化の競合が生じるため、新しい領域は標準的手法よりも厳密に大きくなる。2ユーザーの場合とは異なり、その領域は一致しない。