[論文レビュー] Optimal Trade-offs in Multi-Processor Approximate Message Passing

Junan Zhu, Dror Baron+1 more|arXiv (Cornell University)|Jan 15, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 3

ひとこと要約

本稿は、目標推定品質を達成しつつ、計算コストと通信コストの合計を最小化するための、動的計画法を用いたマルチプロセッサ近似メッセージパッシング（MP-AMP）システムにおける最適符号化レート割り当て戦略を提案する。低余剰平均二乗誤差（EMSE）領域において、最適符号化レートは反復ごとにほぼ線形に増加し、総コストは $O(\log^2(1/\text{EMSE}))$ のスケーリングを示すことが証明された。これにより、分散線形逆問題における性能、遅延、帯域幅の間で効率的なトレードオフが可能になる。

ABSTRACT

We consider large-scale linear inverse problems in Bayesian settings. We follow a recent line of work that applies the approximate message passing (AMP) framework to multi-processor (MP) computational systems, where each processor node stores and processes a subset of rows of the measurement matrix along with corresponding measurements. In each MP-AMP iteration, nodes of the MP system and its fusion center exchange lossily compressed messages pertaining to their estimates of the input. In this setup, we derive the optimal per-iteration coding rates using dynamic programming. We analyze the excess mean squared error (EMSE) beyond the minimum mean squared error (MMSE), and prove that, in the limit of low EMSE, the optimal coding rates increase approximately linearly per iteration. Additionally, we obtain that the combined cost of computation and communication scales with the desired estimation quality according to $O(\log^2(1/ ext{EMSE}))$. Finally, we study trade-offs between the physical costs of the estimation process including computation time, communication loads, and the estimation quality as a multi-objective optimization problem, and characterize the properties of the Pareto optimal surfaces.

研究の動機と目的

• 所望の推定品質を達成しつつ、マルチプロセッサ近似メッセージパッシング（MP-AMP）システムにおける計算コストと通信コストの合計を最小化すること。
• MP-AMPにおけるプロセッサノードと統合センター間で交換されるメッセージのロスあり圧縮のための各反復ごとの最適符号化レートを導出すること。
• 推定品質（EMSE）、計算時間、通信負荷の間のトレードオフを、多目的最適化問題として特徴付けること。
• 低EMSE領域における、所望の推定精度（EMSE）関数としての総コストの理論的スケーリング則を確立すること。

提案手法

• 所望のEMSEを満たすために、計算コストと通信コストの合計を最小化する符号化レートの最適な順序を動的計画法で計算する。
• ロスあり圧縮のモデルとして、率歪み理論の原則を適用し、反復間での誤差伝搬を考慮する。
• 低EMSE領域における凸最適化定式化を導出し、最適符号化レートの進化を解析的に特徴付ける。
• 状態進化形式を用いてMP-AMPの平均二乗誤差ダイナミクスをモデル化し、最小可能値（MMSE）を超える余剰平均二乗誤差（EMSE）を定量化する。
• テイラー級数近似と漸近解析を用いて、低EMSE極限における最適符号化レートの線形増加行動を導出する。
• 推定品質、計算、通信を含む多目的最適化問題のパレート最適表面を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 所望の推定品質を満たすために、計算コストと通信コストの合計を最小化するMP-AMPにおける反復ごとの最適符号化レートの順序は何か？
• RQ2 低EMSE領域において、最適符号化レートは所望の推定精度（EMSE）に対してどのようにスケーリングするか？
• RQ3 MP-AMPシステムにおいて、所望のEMSE関数としての総コスト（計算＋通信）の理論的スケーリングは何か？
• RQ4 分散MP-AMPシステムにおいて、推定誤差（EMSE）と通信負荷は反復間でどのように相互作用するか？
• RQ5 計算時間、通信負荷、推定品質の多目的トレードオフにおけるパレート最適表面の構造は何か？

主な発見

• 低EMSE領域において、最適符号化レートの順序は反復番号とともにほぼ線形に増加し、理論的増加率は反復ごとに $\frac{1}{2}\log_2\left(\frac{1}{\theta}\right)$ である。
• 低EMSE極限において、計算コストと通信コストの合計コストは $O(\log^2(1/\text{EMSE}))$ のスケーリングを示し、これは線形スケーリングよりも著しく効率的である。
• 各反復における最適符号化レートは動的計画法により導出され、固定されたEMSE制約下で総コストを最小化するグローバル最適性が保証されている。
• 低EMSE領域において、連続する反復間の最適歪みレベルの比は $\theta$ に収束する。ここで $\theta$ は状態進化分散の減衰係数である。
• 反復 $t$ における最適EMSEは $\epsilon_t^* = \frac{M}{N}\widetilde{u}_t^*$ であり、$\frac{D_t^*}{\widetilde{u}_t^*}$ は $t \to \infty$ のときゼロに近づくため、相対的歪み増加が小さくなる。
• 解析により、最適符号化レート順序が圧縮量子化境界 $C = \pm B$ の選択にほとんど依存しないことが確認され、主要な挙動は端点によって制限されている。