[論文レビュー] Non-Asymptotic Converse Bounds and Refined Asymptotics for Two Lossy Source Coding Problems

Lin Zhou, Mehul Motani|arXiv (Cornell University)|Aug 18, 2017

Wireless Communication Security Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、2つのマルチエンドポイント損失ありソース符号化問題、Kaspi問題およびFu-Yeung問題について、非漸近的逆問題の境界と洗練された漸近的近似を提案する。歪みチルト型情報密度を導入し、最適なテストチャネルの性質を活用することで、著者らは非漸近的逆問題の境界を導出し、離散的メモリレスなソースに対してBerry-Esseen定理と特化したタイプカバーlemnemaを用いて、第二階層、大偏差、中程度偏差の漸近的性質を確立する。

ABSTRACT

In this paper, we revisit two multi-terminal lossy source coding problems: the lossy source coding problem with side information available at the encoder and one of the two decoders, which we term as the Kaspi problem (Kaspi, 1994), and the multiple description coding problem with one semi-deterministic distortion measure, which we refer to as the Fu-Yeung problem (Fu and Yeung, 2002). For the Kaspi problem, we first present the properties of optimal test channels. Subsequently, we generalize the notion of the distortion-tilted information density for the lossy source coding problem to the Kaspi problem and prove a non-asymptotic converse bound using the properties of optimal test channels and the well-defined distortion-tilted information density. Finally, for discrete memoryless sources, we derive refined asymptotics which includes the second-order, large and moderate deviations asymptotics. In the converse proof of second-order asymptotics, we apply the Berry-Esseen theorem to the derived non-asymptotic converse bound. The achievability proof follows by first proving a type-covering lemma tailored to the Kaspi problem, then properly Taylor expanding the well-defined distortion-tilted information densities and finally applying the Berry-Esseen theorem. We then generalize the methods used in the Kaspi problem to the Fu-Yeung problem. As a result, we obtain the properties of optimal test channels for the minimum sum-rate function, a non-asymptotic converse bound and refined asymptotics for discrete memoryless sources. Since the successive refinement problem is a special case of the Fu-Yeung problem, as a by-product, we obtain a non-asymptotic converse bound for the successive refinement problem, which is a strict generalization of the non-asymptotic converse bound for successively refinable sources (Zhou, Tan and Motani, 2017).

研究の動機と目的

• マルチエンドポイント損失ありソース符号化におけるKaspi問題およびFu-Yeung問題の非漸近的逆問題の境界を確立すること。
• これらの問題における離散的メモリレスなソースについて、第二階層、大偏差、中程度偏差の洗練された漸近的近似を導出すること。
• 歪みチルト型情報密度の概念をKaspi問題に一般化し、最適なテストチャネルの性質を活用してより緊密な境界を得ること。
• これらの手法を順次精錬問題に応用し、先行の非漸近的境界を厳密に一般化すること。
• 有限ブロック長解析手法を用いて、漸近的領域を超えるレート-歪みトレードオフを分析する統一的な枠組みを提供すること。

提案手法

• Kaspi問題に特化した一般化された歪みチルト型情報密度を導入し、標準的な損失ありソース符号化からの概念の拡張を行う。
• 変分的最適化とラグランジュ双対性を用いて、Kaspi問題およびFu-Yeung問題における最適なテストチャネルの性質を同定する。
• 最適なテストチャネルの性質と歪みチルト型情報密度、および集中不等式を組み合わせることで、非漸近的逆問題の境界を導出する。
• 非漸近的逆問題の境界にBerry-Esseen定理を適用し、明示的な分散項を伴う第二階層漸近的性質を確立する。
• 達成可能性証明を支援するため、Kaspi問題に特化したタイプカバーlemnemaを構築し、歪みチルト型密度のテイラー展開を実行する。
• 手法をFu-Yeung問題に一般化し、最小和レート関数に関する非漸近的境界と洗練された漸近的性質を導出する。

実験結果

リサーチクエスチョン

• RQ1 共同歪み制約下におけるKaspi問題における最適なテストチャネルの構造的性質は何か？
• RQ2 一般化された歪みチルト型情報密度を用いて、Kaspi問題における非漸近的逆問題の境界をどのように導出できるか？
• RQ3 離散的メモリレスなソースにおけるKaspi問題の第二階層、大偏差、中程度偏差の漸近的性質は何か？
• RQ4 Kaspi問題に開発された手法をFu-Yeung問題に拡張することで、同様の非漸近的および漸近的結果が得られるか？
• RQ5 順次精錬問題に対する導出された非漸近的逆問題の境界は、先行研究の境界と比較してどのように異なるか？

主な発見

• 歪みチルト型情報密度と最適なテストチャネルの性質を用いて、Kaspi問題における非漸近的逆問題の境界が確立された。
• 非漸近的逆問題の境界にBerry-Esseen定理を適用することで、第二階層漸近的性質が導出され、分散項が得られた。
• Kaspi問題の達成可能性証明は、新規のタイプカバーlemnemaと歪みチルト型情報密度のテイラー展開に依存する。
• 手法はFu-Yeung問題に一般化され、最小和レート関数に関する非漸近的逆問題の境界と洗練された漸近的性質が得られた。
• 副次的成果として、順次精錬問題に対する非漸近的逆問題の境界が得られ、Zhou, Tan, and Motani (2017) が提示した先行境界を厳密に一般化した。
• 導出された境界はタイトであり、有限ブロック長効果を明示的に反映しており、漸近的領域を超えるレート-歪みトレードオフの精密な特徴付けが可能である。