[論文レビュー] Distributed Picard Iteration: Application to Distributed EM and Distributed PCA.

Francisco L. Andrade, Mário A. T. Figueiredo+1 more|arXiv (Cornell University)|Jun 20, 2021

Sparse and Compressive Sensing Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、分散ピカード反復（DPI）を用いて、期待値最大化（EM）および主成分分析（PCA）の分散アルゴリズムを導入する。DPIは、ネットワーク内のエージェントが局所的収縮写像の不動点に反復的通信を通じて収束できる手法である。主な貢献は、EMおよびPCAの更新ルールが局所的収縮写像の平均として表現可能であり、その写像が局所的収縮的であることを示すことで、両者に対する局所的線形収束を証明することにある。DPIの収束保証が継承される。

ABSTRACT

In recent work, we proposed a distributed Picard iteration (DPI) that allows a set of agents, linked by a communication network, to find a fixed point of a locally contractive (LC) map that is the average of individual maps held by said agents. In this work, we build upon the DPI and its local linear convergence (LLC) guarantees to make several contributions. We show that Sanger's algorithm for principal component analysis (PCA) corresponds to the iteration of an LC map that can be written as the average of local maps, each map known to each agent holding a subset of the data. Similarly, we show that a variant of the expectation-maximization (EM) algorithm for parameter estimation from noisy and faulty measurements in a sensor network can be written as the iteration of an LC map that is the average of local maps, each available at just one node. Consequently, via the DPI, we derive two distributed algorithms - distributed EM and distributed PCA - whose LLC guarantees follow from those that we proved for the DPI. The verification of the LC condition for EM is challenging, as the underlying operator depends on random samples, thus the LC condition is of probabilistic nature.

研究の動機と目的

• ネットワークシステムにおける不動点の分散計算を可能にするために、分散ピカード反復（DPI）フレームワークを拡張すること。
• サンガーのPCAアルゴリズムが、エージェント間で分散して保持する局所的写像の平均として定義される局所的収縮写像の反復として再定式化できることを示すこと。
• センサーネットワークにおけるEMアルゴリズムの変種が、ノイズのある分散データのもとで、局所的収縮写像の反復として表現可能であることを示すこと。
• 確率的仮定の下で局所的収縮的条件を検証することにより、分散EMおよびPCAに対する局所的線形収束保証を確立すること。

提案手法

• 各エージェントがデータサブセットを保持する状況において、サンガーのPCAアルゴリズムを、局所的収縮写像の平均として定義される写像の反復として定式化する。
• 各エージェントにおける局所尤度更新に基づいて、分散EMの変種を局所的収縮写像の反復として再定式化する。
• これらの再定式化された写像に、既存の局所的線形収束（LLC）保証を持つ分散ピカード反復（DPI）フレームワークを適用する。
• センサ測定値からのランダムサンプルに依存するEM写像の局所的収縮的条件を、確率的解析を用いて検証する。
• 各エージェントが自身の局所的写像のみにアクセス可能であり、通信は隣接エージェント間でのみ行われるという前提のもとで、グローバル写像を局所的写像の平均としてモデル化し、収束を保証する。
• DPI収束フレームワークを用いて、理論的収束保証を伴うEMおよびPCAの分散アルゴリズムを導出する。

実験結果

リサーチクエスチョン

• RQ1 サンガーのPCAアルゴリズムは、エージェント間で分散して保持する局所的写像の平均として定義される局所的収縮写像の反復として解釈可能か？
• RQ2 ノイズのあるデータのもとで、センサーネットワーク向けの分散EMアルゴリズムを、局所的収縮写像の反復として表現可能か？
• RQ3 分散ピカード反復（DPI）フレームワークは、分散EMおよびPCAの両方に対して局所的線形収束保証を提供するか？
• RQ4 EM写像がランダムサンプルに依存する場合、その局所的収縮的条件はどのように検証可能か？

主な発見

• サンガーのPCAアルゴリズムは、各エージェントが1つの局所的写像を保持する局所的収縮写像の平均として定義される反復に対応し、分散実装が可能になる。
• センサーネットワークにおけるパラメータ推定のためのEMアルゴリズムの変種は、局所的収縮写像の反復として表現可能であり、分散計算が可能になる。
• ノイズのある測定値からのランダムサンプルに依存するEM写像の局所的収縮的条件は、確率的意味で確立される。
• 分散EMおよび分散PCAは、両者ともDPIフレームワークの局所的線形収束（LLC）保証を継承し、緩い条件下でも高速収束を保証する。
• 本フレームワークにより、局所的計算と隣接エージェント間通信に依存するスケーラブルで分散型のPCAおよびEMの計算が可能になる。