[論文レビュー] Variable-Length Resolvability for General Sources and Channels

Hideki Yagi, Te Sun Han|arXiv (Cornell University)|Jan 30, 2017

Wireless Communication Security Techniques参考文献 10被引用数 6

ひとこと要約

本稿では、一般の情報源および一般の通信路に対して、変動長の情報源および通信路の分解能を、変動距離および発散度を近似尺度として用いて導入する。両尺度下での漸近的正確な場合に、変動長分解能が一致することを確立し、通信路が恒等写像である場合には源分解能に帰着される一般化された特徴付けを導出する。さらに、第二階漸近的解析も提供する。

ABSTRACT

We introduce the problem of variable-length source resolvability, where a given target probability distribution is approximated by encoding a variable-length uniform random number, and the asymptotically minimum average length rate of the uniform random numbers, called the (variable-length) resolvability, is investigated. We first analyze the variable-length resolvability with the variational distance as an approximation measure. Next, we investigate the case under the divergence as an approximation measure. When the asymptotically exact approximation is required, it is shown that the resolvability under the two kinds of approximation measures coincides. We then extend the analysis to the case of channel resolvability, where the target distribution is the output distribution via a general channel due to the fixed general source as an input. The obtained characterization of the channel resolvability is fully general in the sense that when the channel is just the identity mapping, the characterization reduces to the general formula for the source resolvability. We also analyze the second-order variable-length resolvability.

研究の動機と目的

• 一般の情報源および通信路に対して、固定長の分解能概念を変動長の一様確率変数へと拡張すること。
• 変動距離および発散度を近似尺度として用いた、変動長源分解能の根本的限界を調査すること。
• 通信路分解能を統一的に特徴付けることにより、通信路が恒等写像である場合に源分解能に帰着されることを確立すること。
• 源および通信路モデルの両方について、変動長分解能の第二階漸近的挙動を分析すること。

提案手法

• 本稿では、変動距離下でのδ源分解能を特徴付けるために、1次の滑らかなRényiエントロピーを用いる。
• 各スライスされた情報密度が整数に量子化され、固定長の一様確率変数によって近似される、簡略化された情報スペクトルスライシング技法を考案する。
• 主要化およびSchur凸性を用いて、異なる近似尺度下でのエントロピーと分解能の関係を関連付ける。
• 発散度に基づく分解能に対しては、目標分布と近似分布の間の発散度を用いた境界を導出し、変動距離と発散度の間の不等式を活用する。
• 通信路分解能問題は、一般の情報源および変動長の一様確率変数を入力コインとして取り扱い、得られる分解能式が等価であることを示す。
• 第二階分解能は、第一階極限を超えた漸近的挙動を検討することで分析され、レート-歪みトレードオフのより精緻な特徴付けが得られる。

実験結果

リサーチクエスチョン

• RQ1 変動距離を近似尺度として用いた場合の、変動長源分解能の根本的限界は何か？
• RQ2 発散度を近似尺度として用いた場合、分解能はどのように変化するのか？また、漸近的正確な場合に両尺度は同一の結果をもたらすか？
• RQ3 通信路分解能問題は、通信路が恒等写像である場合に源分解能を一般化する形で特徴付け可能か？
• RQ4 源および通信路モデルの両方について、変動長分解能の第二階漸近的挙動は何か？
• RQ5 定常的独立同分布情報源に対して、変動距離下での第一階および第二階分解能に、シングルレター特徴付けが存在するか？

主な発見

• 変動距離下での変動長δ源分解能は、誤差確率 ≤ δ を満たす固定長から変動長への情報源符号の最小達成レートに等しい。
• δ = 0（漸近的正確な近似）の場合、変動距離および発散度の両尺度下での分解能は一致する。
• 通信路分解能の公式は完全に一般化されており、通信路が恒等写像である場合には、以前に導出された源分解能の公式に正確に帰着される。
• 定常的独立同分布情報源に対しては、変動距離下での第一階および第二階分解能に、シングルレター特徴付けが存在する。
• 第二階分解能の分析により、レートにおける前ラグ補正項が明らかになり、第一階極限を超えたより精緻な漸近的展開が得られる。
• 変動長の一様確率変数の使用により、分解能のよりタイトな特徴付けが可能となり、分解能レートは1次の滑らかなRényiエントロピーで上限が与えられる。