[논문 리뷰] D-MFVI: Distributed Mean Field Variational Inference using Bregman ADMM

Behnam Babagholami-Mohamadabadi, Sejong Yoon외 1명|arXiv (Cornell University)|2015. 07. 03.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 6

한 줄 요약

이 논문은 대규모 비중앙집중형 네트워크에서 확장 가능한 베이지안 학습을 위한 분산 평균 장 가변 추론 프레임워크인 D-MFVI를 제안한다. Bregman ADMM를 사용하여 국소적 추론과 공유 기반 파rameter 공유를 가능하게 하여, 행렬 분해 및 구조 복원 작업에서 중앙집중식 추론과 유사한 성능을 달성하며, 누락된 데이터와 스트리밍 입력을 효과적으로 처리한다.

ABSTRACT

Bayesian models provide a framework for probabilistic modelling of complex datasets. However, many of such models are computationally demanding especially in the presence of large datasets. On the other hand, in sensor network applications, statistical (Bayesian) parameter estimation usually needs distributed algorithms, in which both data and computation are distributed across the nodes of the network. In this paper we propose a general framework for distributed Bayesian learning using Bregman Alternating Direction Method of Multipliers (B-ADMM). We demonstrate the utility of our framework, with Mean Field Variational Bayes (MFVB) as the primitive for distributed Matrix Factorization (MF) and distributed affine structure from motion (SfM).

연구 동기 및 목표

• 중앙집중식 베이지안 학습의 한계를 해결하기 위해, 프라이버시 및 통신 제약 조건이 존재하는 대규모 분산 센서 네트워크에서의 적용을 목적으로 한다.
• 기존의 결정론적 분산 최적화와 달리, 전체 사후 분포 추정, 불확실성 측정, 스트리밍 데이터 처리를 지원하는 분산 추론을 가능하게 한다.
• 중앙집중적 데이터 수집 또는 계산 없이도 중앙집중식 추론과 유사한 정확도를 유지하면서도 확장 가능한 프레임워크를 개발한다.
• 베이지안 추론을 활용하여 분산 환경에서 누락된 데이터(MAR 및 MNAR)를 효과적으로 처리하며, 비베이지안 대안보다 뛰어난 성능을 발휘한다.
• Bregman ADMM를 사용하여 분산 그래픽 모델에 평균 장 가변 추론을 확장함으로써 네트워크 노드 간 수렴성과 공유 조건을 확보한다.

제안 방법

• 전반적인 베이지안 그래픽 모델을 정의하며, 글로벌 및 로컬 잠재 변수를 가정하고, 노드 간 조건부 독립성과 지수족 분포를 가정한다.
• 사후 분포를 근사하기 위해 평균 장 가변 베이즈(MFVB)를 적용하며, 목적함수를 국소적 항과 공유 조건 항으로 분해한다.
• 최적화를 국소 업데이트와 이중 변수 및 Bregman 발산을 통한 공유 조건 강제화로 분해하기 위해 Bregman ADMM를 활용한다.
• Bregman 발산 기반 분할을 사용하여 변분 매개변수, 이중 변수, 공유 조건에 대한 반복 업데이트 규칙을 유도한다.
• 국소 매개변수와 이중 변수에 대한 분산 좌표 상승 업데이트를 도입하며, ADMM 수렴 이론에 의해 수렴성이 보장된다.
• 감마 우선분포와 평균 장 업데이트를 사용하여 초모수(예: 정밀도, 집중도)를 학습함으로써 점 추정치를 대체한다.

실험 결과

연구 질문

• RQ1 중앙집중적 데이터 수집 또는 계산 없이도 정확도가 중앙집중식 추론과 유사한 분산 베이지안 추론이 가능할 수 있는가?
• RQ2 제안된 D-MFVI 프레임워크는 비중앙집중적 환경에서 MAR 및 MNAR 조건 하에 누락된 데이터를 비베이지안 대안보다 어떻게 효과적으로 처리하는가?
• RQ3 D-MFVI는 다양한 네트워크 구조와 크기에서 수렴 성향과 확장성은 어떠한가?
• RQ4 개별 노드에서 배치 처리를 피하면서도 실시간 또는 스트리밍 데이터 처리를 지원할 수 있는가?
• RQ5 베이지안 추론 맥락에서 Bregman ADMM는 분산 노드 간 공유 조건을 어떻게 효과적으로 강제하는가?

주요 결과

• D-MFVI는 모든 테스트된 네트워크 크기와 구조에서 100회 이내로 수렴하며, 중앙집중식 추론과 동일한 목적함수 값을 달성한다.
• 고리형, 성층형, 완전 연결형 구조에서는 최소 10회 이내로 수렴하며, 네트워크 구조에 대해 강건한 성능을 보인다.
• 합성 데이터에서는 D-BPCA가 중앙집중식 BPCA와 유사한 재구성 오차를 달성하며, 100회 이내로 목적함수의 상대적 변화가 10^-3 이하로 유지된다.
• Caltech 데이터셋에서 D-BPCA는 MAR 및 MNAR 조건 모두에서 D-PPCA를 능가하며, 평균 부분공간 각도는 MAR 조건에서 2.20 vs. 4.06, MNAR 조건에서 7.22 vs. 9.49로 나타난다.
• 누락된 데이터 실험에서 D-BPCA는 D-PPCA보다 낮은 루트 평균 제곱 오차를 기록하며, 특히 MAR 조건 하에서 더 뛰어난 데이터 보완 능력을 입증한다.
• 프레임워크는 결정론적 분산 방법과 달리 자연스럽게 불확실성과 사후 추정을 통합함으로써 스트리밍 데이터 및 누락된 데이터를 성공적으로 처리한다.