[논문 리뷰] Fault-Tolerant Distributed Optimization (Part IV): Constrained Optimization with Arbitrary Directed Networks

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|2015. 11. 05.

Distributed systems and fault tolerance참고 문헌 28인용 수 18

한 줄 요약

이 논문은 충돌 및 바이러스성 장애를 수반하는 임의의 방향성 네트워크를 갖는 다중 에이전트 시스템에 대해 고장 내성 분산 최적화 알고리즘을 제안한다. 볼록 제약 조건 하에서, 기존의 완전 연결 네트워크에 대한 연구를 방향성 그래프로 일반화하며, 반복 공감의 행렬 표현을 사용하여 국소 목적 함수의 가중 평균으로 수렴하며, 성능은 파라미터 β와 γ로 제한된다.

ABSTRACT

We study the problem of constrained distributed optimization in multi-agent networks when some of the computing agents may be faulty. In this problem, the system goal is to have all the non-faulty agents collectively minimize a global objective given by weighted average of local cost functions, each of which is initially known to a non-faulty agent only. In particular, we are interested in the scenario when the computing agents are connected by an arbitrary directed communication network, some of the agents may suffer from crash faults or Byzantine faults, and the estimate of each agent is restricted to lie in a common constraint set. This problem finds its applications in social computing and distributed large-scale machine learning. The fault-tolerant multi-agent optimization problem was first formulated by Su and Vaidya, and is solved when the local functions are defined over the whole real line, and the networks are fully-connected. In this report, we consider arbitrary directed communication networks and focus on the scenario where, local estimates at the non-faulty agents are constrained, and only local communication and minimal memory carried across iterations are allowed. In particular, we generalize our previous results on fully-connected networks and unconstrained optimization to arbitrary directed networks and constrained optimization. As a byproduct, we provide a matrix representation for iterative approximate crash consensus. The matrix representation allows us to characterize the convergence rate for crash iterative consensus.

연구 동기 및 목표

• 충돌 및 바이러스성 장애 하에서 임의의 방향성 통신 네트워크를 갖는 다중 에이전트 시스템에서 제약 조건이 있는 분산 최적화를 다루기.
• 기존의 완전 연결 네트워크에 대한 결과를 일반적인 방향성 그래프로 확장하면서 고장 내성 및 제약 조건 처리 능력을 유지하기.
• 시스템 성능을 두 개의 파라미터인 β(가중치 임계값)와 γ(β를 초과하는 가중치의 최소 수)로 특성화하여 전역 목적 함수의 품질을 정의하기.
• 악성 행동 조건 하에서도 모든 고장 없는 에이전트가 국소 비용 함수의 가중 평균을 최소화하는 해로 수렴하도록 보장하기.
• 수렴 속도와 시스템 행동 분석을 위해 반복적 근사 충돌 공감을 위한 행렬 표현을 제공하기.

제안 방법

• 에이전트들이 이웃에서 수신한 메시지를 사용하여 국소 추정치를 반복적으로 갱신하는 분산 기반 경사 알고리즘을 사용한다.
• 모든 추정치가 공통된 볼록 집합 $ X $ 내에 있도록 보장하기 위해 제약 조건을 강제하는 프로젝션 연산자 $ P_X $ 를 적용한다.
• 에이전트 상태의 진화를 모델링하기 위해 행렬 표현 $ \mathbf{\Psi}_{ik}(t) $ 를 도입하여 공감 수렴 분석을 가능하게 한다.
• 들어오는 메시지 수와 고장 수를 기반으로 가중치를 정의한다: $ a_j[t-1] = \frac{1}{\ell_j + 1} $, 여기서 $ \ell_j $ 는 수신 메시지 수이다.
• 고장 존재 조건 하에서도 수렴을 보장하기 위해 감소하는 단계 크기 $ \lambda[t-1] $ 를 사용한다.
• 가중치 행렬의 왼쪽 고유벡터, 특히 장기적 영향력을 나타내는 $ \pi_k(t) $ 를 사용하여 수렴을 분석한다.

실험 결과

연구 질문

• RQ1 충격 및 바이러스성 장애를 수반하는 임의의 방향성 네트워크에서 고장 내성 분산 최적화를 달성할 수 있는가?
• RQ2 시스템 성능은 네트워크 구조와 고장 분포에 따라 어떻게 달라지며, 특히 β와 γ 측면에서 어떻게 영향을 받는가?
• RQ3 반복 공감의 행렬 표현을 사용하여 충격 고장 상황에서의 수렴 속도를 특성화할 수 있는가?
• RQ4 제약 집합은 고장 난 에이전트 존재 조건 하에서 수렴성과 전역 목적 함수의 품질에 어떤 영향을 미치는가?
• RQ5 방향성 네트워크에서 해결 가능한 γ 파라미터는 각 에이전트의 진입 차수와 고장 수에 따라 어떻게 달라지는가?

주요 결과

• 제안된 알고리즘 6은 $ \widetilde{\mathcal{A}}(\beta, \gamma) $ 내의 함수로 수렴하며, 여기서 $ \tilde{\beta} = \min\left\{ \frac{1}{\max_i(d_i^{-}+1 - \phi_i)}, \frac{1}{|\mathcal{N}|} \right\} $ 이고 $ \tilde{\gamma} = \min_i(d_i^{-}+1 - \phi_i) $ 이며, $ \phi_i $ 는 고장 난 들어오는 이웃의 수이다.
• 반복 공감의 행렬 표현을 통해 충격 고장 상황에서의 수렴 속도를 정밀하게 특성화할 수 있으며, 장기적 행동 분석이 가능해진다.
• 알고리즘은 모든 고장 없는 에이전트가 공통된 한계점 $ y[\bar{t}] $ 로 수렴하도록 보장하며, 이는 초기 상태, 기울기, 고장 영향을 받는 가중치에 따라 달라진다.
• 수렴 한계는 $ \lim_{s\to\infty} \bar{\mathbf{x}}_i[\bar{t}+s] = \sum_k \pi_k(1)x_k[0] - \sum_r \lambda[r-1]\sum_k \pi_k(r+1)d_k[r-1] + \sum_r \sum_k \pi_k(r+1)e_k[r-1] $ 로 유도되며, 영향 가중치와 고장 다이나믹스에 대한 의존성을 보여준다.
• 무방향 그래프의 경우 수정된 업데이트 규칙을 통해 정확한 평균 최소화 $ \frac{1}{|\mathcal{N}|}\sum_{i\in\mathcal{N}} h_i(x) $ 를 달성하며, 대칭 조건 하에서 성능 향상을 보여준다.
• 알고리즘 6에서 해결 가능한 γ 는 각 에이전트의 진입 차수와 고장 수에만 의존하며, 알고리즘 1이 소스 컴포넌트 구조에 의존하는 것과 달리 더 스케일러블하고 네트워크 구조에 민감한 경계를 제공한다.