[論文レビュー] Distributed Information Bottleneck Method for Discrete and Gaussian Sources

Iñaki Estella Aguerri, Abdellatif Zaidi|arXiv (Cornell University)|Sep 26, 2017

Wireless Communication Security Techniques参考文献 13被引用数 24

ひとこと要約

本稿は、離散的およびガウス源を対象とした分散情報ボトルネック（D-IB）フレームワークを導入し、Tishbyの集中型IBを複数のエンコーダーを有する設定に一般化する。情報レート領域のシングルレター特徴付けを確立し、圧縮レートと保持された相互情報量の最適なトレードオフを達成する、ブラフット・アリモト型反復アルゴリズムを提案する。ガウス源の場合、テストチャネルが最適であることが証明されている。

ABSTRACT

We study the problem of distributed information bottleneck, in which multiple encoders separately compress their observations in a manner such that, collectively, the compressed signals preserve as much information as possible about another signal. The model generalizes Tishby's centralized information bottleneck method to the setting of multiple distributed encoders. We establish single-letter characterizations of the information-rate region of this problem for both i) a class of discrete memoryless sources and ii) memoryless vector Gaussian sources. Furthermore, assuming a sum constraint on rate or complexity, for both models we develop Blahut-Arimoto type iterative algorithms that allow to compute optimal information-rate trade-offs, by iterating over a set of self-consistent equations.

研究の動機と目的

• Tishbyの集中型情報ボトルネックを、複数の独立したエンコーダーを有する分散設定に拡張すること。
• 分散符号化下での離散的マルコフ連鎖およびベクトルガウス源の両方における情報レート領域を特徴付けること。
• 目的信号に関する情報量を保持する圧縮レートとの最適なトレードオフを計算するための反復アルゴリズムを開発すること。
• ガウス源の場合に、ガウステストチャネルが最適であることを証明し、先行の単一エンコーダー結果を一般化すること。
• 離散的およびガウスモデルの両方における定常解を求める自己一貫方程式を可能にする変分的定式化を提供すること。

提案手法

• 対数損失歪み下の分散CEOソース符号化問題との関連を用いて、情報レート領域のシングルレター特徴付けを導出する。
• 変分法を適用して最適化問題を定式化し、定常解のための自己一貫方程式を導出する。
• これらの自己一貫方程式の固定点反復によりパラメータを更新する、ブラフット・アリモト型反復アルゴリズムを構築する。
• ガウス源の場合、アルゴリズムはノイズを含む線形射影のパラメータを更新するものに簡略化され、共分散行列の閉形式更新が可能になる。
• MMSEおよびフィッシャー情報行列の下限を用いて、レート領域に対する外挙動を導出し、それがタイトであることを示す。
• 外挙動がガウス符号化分布を用いることで達成可能であることを示すことで、ガウステストチャネルの最適性を証明する。

実験結果

リサーチクエスチョン

• RQ1 複数のエンコーダーを有する分散設定下で、圧縮レートと保持された情報量の根本的トレードオフは何か？
• RQ2 離散的およびガウス源の両方において、情報レート領域をシングルレター形式で特徴付ける方法は何か？
• RQ3 分散IBフレームワーク下で、最適なレート・情報トレードオフを計算するための反復アルゴリズムを設計できるか？
• RQ4 ガウス源の場合に、ガウステストチャネルは分散IB問題において最適か？
• RQ5 レートと情報保持の観点から、分散符号化の性能は集中型IBと比べてどの程度か？

主な発見

• 離散的マルコフ連鎖源の情報レート領域は、対数損失歪み下のCEOソース符号化問題から導出されたシングルレター表現により特徴付けられる。
• ベクトルガウス源の場合は、最適な符号化戦略がガウス的であり、特定の共分散構造を持つ線形射影を用いて情報レート領域が特徴付けられる。
• 提案された反復アルゴリズムは、変分的定式化から導出された自己一貫方程式を解くことで、最適解に収束する。
• ガウス源の場合、アルゴリズムはノイズを含む線形射影のパラメータを更新するものであり、与えられた固定点反復スキームのもとで収束が保証される。
• 数値結果から、分散IBの性能は集中型IBに近づき、特に合計レートが低い場合に顕著で、射影の次元変更に起因するわずかな性能損失を除いてほぼ同等の性能を示す。
• レート領域の外挙動はタイトであり、ガウステストチャネルと退化した補助変数Qを用いることで等号が達成される。