[論文レビュー] Coding into a source: a direct inverse Rate-Distortion theorem

Mukul Agarwal, Anant Sahai+1 more|ArXiv.org|Oct 24, 2006

Advanced Data Compression Techniques参考文献 11被引用数 25

ひとこと要約

本稿はシャノンのレート・ディストラクション定理の直接的な逆を確立する：ブラックボックス・チャネルを介してソースをブロック歪み $D$ 以内に伝送できる場合、レート・ディストラクション関数 $R(D)$ よりも低いレートでビットの信頼性ある通信が可能である。主な結果は、期待歪みとは異なり、ブロック歪み制約——特に無記憶ソースモデルと確率的ランダム化およびデッドタイム・セグメントを用いたコードブック設計——により、$R(D)$ よりも低いレートで信頼性ある通信が可能であることを示している。

ABSTRACT

Shannon proved that if we can transmit bits reliably at rates larger than the rate distortion function $R(D)$, then we can transmit this source to within a distortion $D$. We answer the converse question ``If we can transmit a source to within a distortion $D$, can we transmit bits reliably at rates less than the rate distortion function?'' in the affirmative. This can be viewed as a direct converse of the rate distortion theorem.

研究の動機と目的

• ソースが歪み $D$ 以内に伝送可能なチャネル（ブラックボックスとして扱う）において、信頼性あるビット通信が可能かどうかという逆問題に取り組む。
• 期待歪みではなくブロック歪み制約が、$R(D)$ よりも低いレートでの信頼性ある通信を可能にする十分条件であることを示す。
• 無記憶ソースから出発し、その後、記憶を失う記憶のない定常エルゴード的ソースへと結果を拡張する。これには、良い/悪い時間スロットとデッドタイム・セグメントを用いたコードブック構成を用いる。
• 同じ $R(D)$ を持つすべてのソースが同等であることを確立し、あるソースが歪み $D$ 以内に伝送可能であれば、他のすべてのソースも任意に小さな余剰歪み $\delta > 0$ で伝送可能であることを示す。
• このフレームワークをステガノグラフィ、カバーテキストなしのウォーターマーキング、および可変チャネル（AVC）と結びつける。攻撃者を歪み制約付きの敵対的アドバーサリーとしてモデル化する。

提案手法

• 攻撃者を非因果的かつ確率的なブラックボックスとして形式化し、入力系列を出力系列に写像するが、ブロック歪み制約 $\Pr\left(\frac{1}{n}\sum_{t=1}^n d(x_t,y_t) > D\right) \to 0$ を満たすようにする。$n \to \infty$ のとき。
• タイプの方法を用いて、無記憶ソースのコードブックを構築し、符号語がソース分布のもとで典型であり、歪みがあっても復元可能であることを保証する。
• 二段階の時間構造を導入する：$t$ 長の良いスロット（埋め込みに使用）と $d$ 長のデッドタイム・スロット（記憶の消退を許可）。良いスロットはベルヌーイ($\lambda$)変数による確率的マークを施す。
• 良いスロットでは定常分布から、デッドタイム・スロットでは条件付き分布から符号語をサンプリングし、元のソースの記憶を模倣するようにする。
• 良いスロットの割合が高確率で $1-2\lambda$ 以上であることを保証し、最悪の攻撃者行動（良いスロットのみを標的とする）における復号誤り確率を上限付ける。
• 記憶を失う記憶のない定常エルゴード的ソースへ一般化する際には、遅延 $d$ が十分に大きいと過去の状態を忘れることを保証する混合条件（63）を用い、良いセグメント上でi.i.d.近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス・チャネルがソースを歪み $D$ 以内に伝送可能である場合、$R(D)$ よりも低いレートで信頼性あるビット通信が可能か？
• RQ2 なぜ期待歪み制約では信頼性ある通信が成立しないが、ブロック歪み制約では成立するのか？
• RQ3 結果を無記憶ソースから記憶を失う記憶のない定常エルゴード的ソースへ拡張可能か？
• RQ4 同じ $R(D)$ 値を持つすべてのソースが同等であると見なせるか？すなわち、あるソースが歪み $D$ 以内に伝送可能であれば、他のすべてのソースも $D+\delta$ 以内（任意に小さな $\delta>0$）に伝送可能か？
• RQ5 このフレームワークはステガノグラフィおよびカバーテキストなしのウォーターマーキングとどのように関係するか？

主な発見

• 無記憶ソースに対しては、ブロック歪み制約を満たすブラックボックス・チャネル上でも、攻撃者が非因果的かつ確率的であっても、$R(D)$ よりも低い任意のレート $R < R(D)$ で信頼性ある通信が可能である。
• ブロック歪み制約により、攻撃者が長期的な期待歪みを悪用して通信を破壊するのを防げる。期待歪みの場合とは異なり、これは成功する。
• 良い時間スロット（埋め込みに使用）の割合は高確率で $1-2\lambda$ 以上であり、平均歪みは最大で $\frac{t+d}{t} \cdot \frac{1+2\lambda}{1-2\lambda}$ 倍に増加するが、これは任意に 1 に近づけることができる。
• 記憶を失う記憶のない定常エルゴード的ソースに対しては、混合条件（63）を満たせば結果が成立する。この条件により、遅延 $d$ 経過後に過去の状態を忘れ、良いセグメント上でi.i.d.コードブック構成が可能になる。
• 同じ $R(D)$ 値を持つすべてのソースは同等である。すなわち、あるソースが歪み $D$ 以内に伝送可能であれば、他のすべてのソースも任意に小さな余剰歪み $\delta > 0$ で伝送可能である。
• このフレームワークは、埋め込みデータがソース信号の歪みに隠されているステガノグラフィおよびカバーテキストなしのウォーターマーキングの理論的基盤を提供する。