[논문 리뷰] Convergence analysis of belief propagation for pairwise linear Gaussian models

Jian Du, Shaodan Ma외 3명|arXiv (Cornell University)|2017. 06. 12.

Distributed Sensor Networks and Detection Algorithms참고 문헌 8인용 수 9

한 줄 요약

이 논문은 이웃하는 에이전트가 공통 관측치를 공유하는 쌍선형 가우시안 모델에 대한 가우시안 민감도 전파(Gaussian belief propagation, BP)의 수렴 분석을 제공한다. 정보 행렬이 유일한 양의 정부호 행렬로 기하급수적으로 수렴하고, 민감도 평균이 최적 추정치로 수렴하기 위한 필수 및 필요조건—시스템 행렬의 스펙트럼 반경이 1 미만이어야 한다—를 증명한다.

ABSTRACT

Gaussian belief propagation (BP) has been widely used for distributed inference in large-scale networks such as the smart grid, sensor networks, and social networks, where local measurements/observations are scattered over a wide geographical area. One particular case is when two neighboring agents share a common observation. For example, to estimate voltage in the direct current (DC) power flow model, the current measurement over a power line is proportional to the voltage difference between two neighboring buses. When applying the Gaussian BP algorithm to this type of problem, the convergence condition remains an open issue. In this paper, we analyze the convergence properties of Gaussian BP for this pairwise linear Gaussian model. We show analytically that the updating information matrix converges at a geometric rate to a unique positive definite matrix with arbitrary positive semidefinite initial value and further provide the necessary and sufficient convergence condition for the belief mean vector to the optimal estimate.

연구 동기 및 목표

• 순환 네트워크에서 쌍선형 가우시안 모델을 사용하는 가우시안 민감도 전파에 대한 이론적 수렴 보장을 제공하지 못하는 문제를 해결하기 위해.
• 분산 추정에서 흔한 상황인 두 이웃 에이전트가 공통 관측치를 공유할 때 민감도 전파의 수렴 성질을 분석하기 위해.
• 민감도 평균 벡터가 최적의 중심화된 추정치로 수렴하기 위한 필요 및 충분 조건을 도출하기 위해.
• 임의의 양의 준정부호 초기화에서 정보 행렬 $\mathbf{C}^{(\ell)}$가 유일한 양의 정부호 행렬로 기하급수적으로 수렴함을 증명하기 위해.

제안 방법

• 에이전트 i와 j 간의 관측치가 국소 미지 변수와 가우시안 노이즈를 포함한 선형 관계를 가지는 쌍선형 가우시안 모델을 사용하여 분산 추정을 모델링한다.
• 민감도 전파를 위한 메시지 전달 방정식을 유도하며, 민감도 평균 및 정보 행렬 갱신을 국소 측정치, 노이즈 공분산 및 사전 분포의 형태로 표현한다.
• 민감도 갱신 방정식을 $\mathbf{v}^{(\ell)} = -\mathbf{Q}\mathbf{v}^{(\ell-1)} + \mathbf{b}$ 형태의 선형 시스템으로 변환하여 수렴의 스펙트럼 분석을 가능하게 한다.
• 수렴을 스펙트럼 반경 $\rho(\mathbf{Q})$ 를 통해 분석하며, 민감도 평균이 최적 추정치로 수렴하기 위해 $\rho(\mathbf{Q}) < 1$ 이라는 조건이 필수적이고 충분함을 보여준다.
• 임의의 양의 준정부호 초기값에서 정보 행렬 $\mathbf{C}^{(\ell)}$ 가 유일한 양의 정부호 행렬로 기하급수적으로 수렴함을 증명한다.
• 메시지 갱신을 압축된 분산 형태로 표현하기 위해 행렬 역행렬 보조정리와 블록 행렬 분해를 사용한다.

실험 결과

연구 질문

• RQ1 공통 관측치를 공유하는 쌍선형 가우시안 모델에서 민감도 전파가 최적 추정치로 수렴하는 조건은 무엇인가?
• RQ2 임의의 양의 준정부호 초기화 하에서 민감도 전파의 정보 행렬이 유일한 양의 정부호 행렬로 기하급수적으로 수렴하는가?
• RQ3 이 모델 클래스에서 민감도 평균 벡터의 수렴을 위한 필요 및 충분 조건을 도출할 수 있는가?
• RQ4 이 모델에서 민감도 전파의 수렴 행동은 표준 마르코프 무역장 공식화와 어떻게 다를까?

주요 결과

• 임의의 양의 준정부호 초기값에서 정보 행렬 $\mathbf{C}^{(\ell)}$ 가 유일한 양의 정부호 행렬로 기하급수적으로 수렴한다.
• 민감도 평균 벡터 $\bm{\mu}_i^{(\ell)}$ 가 최적 추정치 $\hat{\mathbf{x}}_i$ 로 수렴하는 것은 유일하게 시스템 행렬 $\mathbf{Q}$ 의 스펙트럼 반경 $\rho(\mathbf{Q}) < 1$ 이 성립할 때이다. $\mathbf{Q}$ 는 네트워크 구조와 시스템 파라미터에서 유도된다.
• 민감도 평균의 수렴은 메시지 벡터 $\mathbf{v}^{(\ell)}$ 의 수렴과 동치이며, 이는 시스템 행렬 $\mathbf{Q}$ 의 스펙트럼 반경에 의존한다.
• 제안된 수렴 조건 $\rho(\mathbf{Q}) < 1$ 은 민감도 평균이 최적의 중심화된 추정치에 도달하기 위해 필수적이고 충분하다.
• 기존의 마르코프 무역장에 대한 수렴 조건은 메시지 전달 동역학의 차이로 인해 이 분산 추정 문제 클래스에는 적용되지 않음을 분석을 통해 입증한다.
• 결과적으로 스마트 그리드 및 센서 네트워크와 같이 에이전트 간 공통 관측이 흔한 애플리케이션에서 가우시안 BP에 대한 이론적 보장을 제공한다.