[論文レビュー] The price of ignorance: The impact of side-information on delay for lossless source-coding

Cheng Chang, Anant Sahai|ArXiv.org|Dec 6, 2007

Wireless Communication Security Techniques参考文献 20被引用数 11

ひとこと要約

本稿は、リアルタイム損失なしソース符号化における、符号化器が付加情報（side-information）を把握していないことによる、エンドツーエンド遅延および誤り確率への影響を調査する。符号化器が付加情報を知らない場合、その符号化器が知っている場合と比較して、再現性関数（誤り指数）が著しく劣化することを示しており、遅延制限付きシステムにおける根本的な「無知の代償」を明らかにしている。これは、符号化におけるフィードバックの役割と類似している。

ABSTRACT

Inspired by the context of compressing encrypted sources, this paper considers the general tradeoff between rate, end-to-end delay, and probability of error for lossless source coding with side-information. The notion of end-to-end delay is made precise by considering a sequential setting in which source symbols are revealed in real time and need to be reconstructed at the decoder within a certain fixed latency requirement. Upper bounds are derived on the reliability functions with delay when side-information is known only to the decoder as well as when it is also known at the encoder. When the encoder is not ignorant of the side-information (including the trivial case when there is no side-information), it is possible to have substantially better tradeoffs between delay and probability of error at all rates. This shows that there is a fundamental price of ignorance in terms of end-to-end delay when the encoder is not aware of the side information. This effect is not visible if only fixed-block-length codes are considered. In this way, side-information in source-coding plays a role analogous to that of feedback in channel coding. While the theorems in this paper are asymptotic in terms of long delays and low probabilities of error, an example is used to show that the qualitative effects described here are significant even at short and moderate delays.

研究の動機と目的

• リアルタイム損失なしソース符号化における、レート、エンドツーエンド遅延、誤り確率のトレードオフを分析すること。
• 符号化器が付加情報を把握していないにもかかわらず、その情報がデコーダーに存在する場合の性能ペナルティを定量化すること。
• 符号化器が付加情報を把握していない場合に、固定遅延下で再現性関数（誤り指数）が著しく劣化することを確立すること。
• このペナルティがブロック符号化モデルでは顕在しないが、逐次的かつ遅延制約付きの設定では顕在することを示すこと。
• ソース符号化における付加情報と、チャネル符号化におけるフィードバックとの類似性を示し、固定遅延下での信頼性向上に与える影響が類似していることを示すこと。

提案手法

• ソース記号がリアルタイムで公開され、固定遅延内に復号されなければならない逐次的ソース符号化システムをモデル化する。
• 固定エンドツーエンド遅延制約下でのバッファオーバーフローおよび復号誤り確率を分析するためにキューイングモデルを用いる。
• 大偏差技術およびブロック長の上限を用いて、システムの誤り指数に対する上界を導出する。
• [OurUpperBoundPaper]および[csiszarkorner]の結果を活用し、ブロック符号化の再現性上限を固定遅延設定に翻訳する。
• 付加情報がデコーダーにのみ存在する（符号化器が無知である）場合の誤り指数に対する上界を、不確実性集中に基づく逆問題的議論を用いて導出する。
• 符号化器が付加情報を把握していない状況下での固定遅延における誤り指数を特徴付ける再現性関数 $ E_{ei}(R) $ を導入する。

実験結果

リサーチクエスチョン

• RQ1 符号化器が付加情報を把握していない場合、固定遅延損失なしソース符号化における誤り指数にどのような影響を与えるか？
• RQ2 符号化器が付加情報を把握している場合と把握していない場合との間で、再現性関数はどのように異なるか？
• RQ3 符号化器の無知に起因する性能ペナルティは、遅延および誤り確率の観点から定量的に評価可能か？
• RQ4 符号化器の無知の影響は、逐次的かつ遅延制約付きのシステムにのみ顕在するものか、ブロック符号化モデルに対しても顕在するか？
• RQ5 固定遅延下での信頼性向上という観点から、符号化器に付加情報を提供することと、チャネル符号化におけるフィードバックとを比較すると、どのような類似性があるか？

主な発見

• 符号化器が付加情報を把握していない場合、誤り指数 $ E_{ei}(R) $ は、符号化器が付加情報を把握している場合に達成可能な最適誤り指数 $ E^{u}_{si,b}(R) $ よりも厳密に小さい。
• 無知の代償により、誤り指数が著しく劣化する。特に、条件付きエントロピーに近いレートでは、付加情報の利点が顕著に現れるため、その影響が顕著である。
• 無知な符号化器と知識を持つ符号化器の間の性能差は、固定ブロック長符号化では顕在しない。これは、逐次的システムとブロックベースシステムとの間の重要な相違を示している。
• 本稿では、符号化器が付加情報を把握していない固定遅延下での誤り指数が、誤り指数関数の族の最小化に基づいて導出される上界 $ E_{ei}(R) $ によって上から抑えられることを確立した。
• 中程度の遅延であっても、符号化器の無知に起因する定性的な影響（誤り確率の増加）は依然として顕著であり、数値例により示された。
• 結果から、ソース符号化における付加情報は、チャネル符号化におけるフィードバックと類似した役割を果たしており、固定遅延下での信頼性向上に寄与するが、その効果は符号化器がその情報を把握している場合に限る。