[論文レビュー] Distributed Source Coding for Interactive Function Computation

Nan Ma, Prakash Ishwar|ArXiv.org|Jan 4, 2008

Cellular Automata and Applications参考文献 9被引用数 12

ひとこと要約

本稿は、交互にメッセージを送信する2端末関数計算における分散情報圧縮の通信レート領域について、計算可能な特徴付けを提案する。相互作用が通信コストを著しく低減できることを示しており、特に両端末で関数を計算する場合に顕著である。独立したベルヌーイ分布に従う2つのソースのブールAND関数の無限メッセージ和レートについて、2次元定積分とレート割り当て曲線を用いて表現する。

ABSTRACT

A two-terminal interactive distributed source coding problem with alternating messages for function computation at both locations is studied. For any number of messages, a computable characterization of the rate region is provided in terms of single-letter information measures. While interaction is useless in terms of the minimum sum-rate for lossless source reproduction at one or both locations, the gains can be arbitrarily large for function computation even when the sources are independent. For a class of sources and functions, interaction is shown to be useless, even with infinite messages, when a function has to be computed at only one location, but is shown to be useful, if functions have to be computed at both locations. For computing the Boolean AND function of two independent Bernoulli sources at both locations, an achievable infinite-message sum-rate with infinitesimal-rate messages is derived in terms of a two-dimensional definite integral and a rate-allocation curve. A general framework for multiterminal interactive function computation based on an information exchange protocol which successively switches among different distributed source coding configurations is developed. For networks with a star topology, multiple rounds of interactive coding is shown to decrease the scaling law of the total network rate by an order of magnitude as the network grows.

研究の動機と目的

• 両端末で交互にメッセージを送信する分散情報圧縮と関数計算を組み合わせた、2端末の対話的通信における実現可能レート領域の特徴付け。
• 関数計算における通信コスト低減に向けた相互作用の役割を、非対話的スキームと比較して調査すること。
• 関数の構造とソースの分布に応じて、相互作用が関数計算において有益であるか、あるいは無意味であるかを分析すること。
• 2つの独立したベルヌーイ分布に従うソースのブールAND関数の無限メッセージ和レートを、2次元定積分を用いて表現すること。
• 動的スイッチングにより分散情報圧縮の構成を切り替える情報交換プロトコルに基づく、一般化されたマルチターミナル対話的関数計算フレームワークの構築。

提案手法

• t回の交互メッセージ交換を想定する一般的な2端末対話型符号化モデルを提案し、各メッセージのレートが直前のメッセージとソース標本に依存することを前提とする。
• 単一記号情報量測度を用いて、任意のメッセージ数に対してレート領域の計算可能な特徴付けを導出する。
• 情報理論的不等式とマルコフ連鎖制約を用いて和レートを評価し、特に条件付きエントロピーと相互情報量の項を活用する。
• 補助確率変数とラベル関数φ(U^t)を導入し、入力空間の領域を関数出力に基づいて分類することで、エントロピーの分解を可能にする。
• パラメータλに関する最小化により、無限メッセージ和レートの下界を導出し、2進エントロピー関数を含む閉形式の式を得る。
• Slepian-WolfおよびWyner-Ziv符号化構成を動的に入れ替える情報交換プロトコルに基づくマルチターミナルフレームワークを構築し、レート割り当てを最適化する。

実験結果

リサーチクエスチョン

• RQ1 無限メッセージを許容する場合でも、対話的通信が関数計算においていつ有益で、いつ無意味となるのか。
• RQ2 関数の構造（例：ブールAND）とソース分布が、対話的通信によるレート低減にどのように影響を与えるか。
• RQ3 2つの独立したベルヌーイ(p)およびベルヌーイ(q)分布に従うソースのブールAND関数を、無限回の対話によって計算する際の最小実現可能和レートは何か。
• RQ4 マルチターミナルネットワークにおいて、対話的通信がネットワーク全体の総レートのスケーリング法則をどの程度改善できるか。
• RQ5 補助確率変数とメッセージラベル関数が、対話的関数計算のレート領域特徴付けにおいて果たす役割は何か。

主な発見

• スターアーキテクチャのネットワークにおいて、ネットワークが拡大するに従い、対話的通信により通信コストが1桁低減され、スケーリング法則が顕著に改善される。
• 両端末で独立したベルヌーイ(p)およびベルヌーイ(q)分布に従う2つのソースのブールAND関数を計算する場合、無限メッセージ和レートは $ h_2(p) + h_2(q) - (1 - pq) h_2\big(\frac{(1-p)(1-q)}{1 - pq}\big) $ で下界づけられ、極限において等号が達成可能である。
• 関数が対称的でソースが独立している場合、1つの端末での関数計算では、無限メッセージを許容しても対話的通信は無意味であるが、両端末で関数を計算する場合には不可欠となる。
• t回のメッセージ交換におけるレート領域は、単一記号情報量測度により特徴付けられ、実現可能レートに対する計算可能でタイトな境界を与える。
• 補助変数とラベル関数φ(U^t)の使用により、結合エントロピーの分解が可能となり、パラメータλに関する単一変数最小化問題に帰着される。
• 異なる分散情報圧縮構成を順次切り替えることで、マルチターミナルネットワークへの一般化が可能となり、複数ノード間での効率的レート割り当てが実現される。