[논문 리뷰] Distributed Picard Iteration: Application to Distributed EM and Distributed PCA.

Francisco L. Andrade, Mário A. T. Figueiredo외 1명|arXiv (Cornell University)|2021. 06. 20.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 분산 피카르 반복(Distributed Picard Iteration, DPI)을 사용하여 기대값 최대화(Expectation-Maximization, EM)와 주성분 분석(Principal Component Analysis, PCA)을 위한 분산 알고리즘을 제안한다. DPI는 네트워크 내 에이전트들이 국소적으로 수축적인 사상의 고정점을 반복적 소통을 통해 수렴하도록 보장하는 방법이다. 주요 기여는 EM과 PCA의 업데이트 규칙이 국소적으로 수축적인 사상의 평균임을 보여주어, 이들의 국소 선형 수렴 성질을 입증하는 것이다. 이는 DPI의 수렴 보장을 그대로 이어받는다.

ABSTRACT

In recent work, we proposed a distributed Picard iteration (DPI) that allows a set of agents, linked by a communication network, to find a fixed point of a locally contractive (LC) map that is the average of individual maps held by said agents. In this work, we build upon the DPI and its local linear convergence (LLC) guarantees to make several contributions. We show that Sanger's algorithm for principal component analysis (PCA) corresponds to the iteration of an LC map that can be written as the average of local maps, each map known to each agent holding a subset of the data. Similarly, we show that a variant of the expectation-maximization (EM) algorithm for parameter estimation from noisy and faulty measurements in a sensor network can be written as the iteration of an LC map that is the average of local maps, each available at just one node. Consequently, via the DPI, we derive two distributed algorithms - distributed EM and distributed PCA - whose LLC guarantees follow from those that we proved for the DPI. The verification of the LC condition for EM is challenging, as the underlying operator depends on random samples, thus the LC condition is of probabilistic nature.

연구 동기 및 목표

• 네트워크 기반 시스템에서 고정점을 계산하기 위한 분산 피카르 반복(Distributed Picard Iteration, DPI) 프레임워크를 확장하여 분산 계산을 가능하게 하기.
• 샌거의 PCA 알고리즘을 네트워크 내 각 에이전트가 소유한 데이터 부분집합에 해당하는 국소 사상의 평균인 국소적으로 수축적인 사상의 반복으로 재구성할 수 있음을 보여주기.
• 센서 네트워크를 위한 EM 알고리즘의 변형이 노이즈가 있는 분산 데이터 하에서 국소적으로 수축적인 사상의 반복으로 표현될 수 있음을 보여주기.
• 확률적 가정 하에 국소적으로 수축적인 조건을 검증하여 분산 EM 및 PCA에 대한 국소 선형 수렴 보장을 확립하기.

제안 방법

• 각 에이전트가 데이터 부분집합을 보유하고 있는 국소 사상의 평균인 국소적으로 수축적인 사상의 반복으로 샌거의 PCA 알고리즘을 재구성하기.
• 각 에이전트에서의 국소 우도 업데이트로부터 유도된 국소적으로 수축적인 사상의 반복으로 분산 EM의 변형을 재구성하기.
• 이 재구성된 사상에 대해 기존에 알려진 국소 선형 수렴 보장(Locally Linear Convergence, LLC)을 갖는 분산 피카르 반복(DPI) 프레임워크를 적용하기.
• 센서 측정치에서 랜덤 샘플에 의존하므로, EM 사상의 국소적으로 수축적인 조건을 확률적 분석을 통해 검증하기.
• 각 에이전트에서만 접근 가능한 국소 사상의 평균으로서의 전역 사상을 모델링하고, 이웃 간의 소통만을 허용함으로써 수렴 보장 확보하기.
• DPI 수렴 프레임워크를 활용하여 이론적 수렴 보장을 갖는 EM 및 PCA에 대한 분산 알고리즘 유도하기.

실험 결과

연구 질문

• RQ1 샌거의 PCA 알고리즘은 각 에이전트가 소유한 국소 사상의 평균인 국소적으로 수축적인 사상의 반복으로 해석될 수 있는가?
• RQ2 노이즈가 있는 데이터 하에서 센서 네트워크를 위한 분산 EM 알고리즘이 국소적으로 수축적인 사상의 반복으로 표현될 수 있는가?
• RQ3 분산 피카르 반복(Distributed Picard Iteration, DPI) 프레임워크는 분산 EM 및 PCA 모두에 대해 국소 선형 수렴 보장을 제공하는가?
• RQ4 EM 사상이 랜덤 샘플에 의존할 경우, 국소적으로 수축적인 조건은 어떻게 검증할 수 있는가?

주요 결과

• 샌거의 PCA 알고리즘은 각 에이전트가 소유한 국소 사상의 평균인 국소적으로 수축적인 사상의 반복과 대응되며, 이는 분산 구현을 가능하게 한다.
• 센서 네트워크에서 분산 매개변수 추정을 위한 EM 알고리즘의 변형은 국소적으로 수축적인 사상의 반복으로 표현될 수 있으며, 이는 분산 계산을 가능하게 한다.
• 노이즈 측정치에서 랜덤 샘플에 의존하므로, EM 사상의 국소적으로 수축적인 조건은 확률적 의미에서 확립된다.
• 분산 EM 및 분산 PCA는 모두 DPI 프레임워크의 국소 선형 수렴(Locally Linear Convergence, LLC) 보장을 그대로 이어받으며, 온건한 조건 하에서 빠른 수렴을 보장한다.
• 이 프레임워크는 국소 계산과 이웃 간 소통을 활용하여 PCA 및 EM의 확장 가능하고 탈중앙화된 계산을 가능하게 한다.