[논문 리뷰] Fault-Tolerant Multi-Agent Optimization: Part III

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|2015. 09. 06.

Optimization and Search Problems참고 문헌 19인용 수 8

한 줄 요약

이 논문은 단일 반복 단계당 국소 계산과 한 번의 메시지 교환만을 요구하는 반복적 공감 기반 업데이트를 사용하여, 고장 나거나 악성으로 행동하는 에이전트가 존재하는 다중 에이전트 시스템에서의 고장 내성 분산 최적화 알고리즘을 제안한다. 최대 f개의 에이전트가 고장나도 근사적인 전역 최적해로 수렴함을 보장하며, 두 고장 모델에 대해 가중치 분포와 오차 한계에 대한 보장을 제공한다.

ABSTRACT

We study fault-tolerant distributed optimization of a sum of convex (cost) functions with real-valued scalar input/output in the presence of crash faults or Byzantine faults. In particular, the goal is to optimize a global cost function $\frac{1}{n}\sum_{i\in \mathcal{V}} h_i(x)$, where $\mathcal{V}=\{1, \ldots, n\}$ is the collection of agents, and $h_i(x)$ is agent $i$'s local cost function, which is initially known only to agent $i$. Since the above global cost function cannot be optimized exactly in presence of crash faults or Byzantine faults, we define two weaker versions of the problem for crash faults and Byzantine faults, respectively. When some agents may crash, the goal for the weaker problem is to generate an output that is an optimum of a function formed as $$C(\sum_{i\in \mathcal{N}} h_i(x)+\sum_{i\in \mathcal{F}} α_i h_i(x)),$$ where $\mathcal{N}$ is the set of non-faulty agents, $\mathcal{F}$ is the set of faulty agents (crashed agents), $0\le α_i\le 1$ for each $i\in \mathcal{F}$ and $C$ is a normalization constant such that $C(|\mathcal{N}|+\sum_{i\in \mathcal{F}} α_i)=1$. We present an iterative algorithm in which each agent only needs to perform local computation, and send one message per iteration. When some agents may be Byzantine, the system cannot take full advantage of the data kept by non-faulty agents. The goal for the associated weaker problem is to generate an output that is an optimum of a function formed as $$\sum_{i\in \mathcal{N}}α_i h_i(x),$$ such that $α_i\geq 0$ for each $i\in \mathcal{N}$ and $\sum_{i\in \mathcal{N}}α_i=1$. We present an iterative algorithm, where only local computation is needed and only one message per agent is sent in each iteration, that ensures that at least $|\mathcal{N}|-f$ agents have weights ($α_i$'s) that are lower bounded by $\frac{1}{2(|\mathcal{N}|-f)}$.

연구 동기 및 목표

• 최대 f개의 에이전트가 고장나거나 악성으로 행동할 수 있는 다중 에이전트 시스템에서 분산 볼록 최적화 문제를 해결한다.
• 고장 난 에이전트로 인해 정확한 전역 최적화가 불가능한 상황에서 크래시 및 바이러선트 고장을 고려한 약한 최적화 문제를 수립한다.
• 비고장 에이전트의 국소 비용 함수에 적절한 가중치를 할당하여 진정한 전역 최적해에 근접하는 해로 수렴하도록 보장한다.
• 국소 계산과 라운드당 한 메시지만을 요구하는 경량의 반복 알고리즘을 설계한다.
• 결과를 비동기 시스템으로 일반화하여, 바이러선트 고장 내성에 대해 더 유연한 가정 하에서도 가능성을 입증한다.

제안 방법

• 비고장 에이전트의 가중치를 높이고 고장 난 에이전트의 기여도를 계수 αi ∈ [0,1]로 제한하는 국소 비용 함수의 가중 평균을 최적화 목표로 제안한다.
• 각 에이전트가 국소 기울기를 계산하고 현재 추정치와 함께 메시지를 전송하며, 수신한 값의 평균에 기반해 자신의 상태를 갱신하는 반복 알고리즘을 사용한다.
• 가중합이 유효한 확률 가중 평균을 형성하도록 보장하기 위해 정규화 상수 C를 적용하여 볼록성과 수렴 성질을 유지한다.
• 기울기의 리프시츠 연속성과 유한한 도함수 크기(L)를 활용하여 오차 전파를 제한한다.
• 기울기와 추정치에 대한 공감을 기반으로 하여 고장 난 에이전트의 메시지를 탐지하고 배제하거나 가중치를 낮추는 메커니즘을 도입한다.
• 메시지 수신 로직을 수정하여 변수 지연을 처리함으로써 비동기 시스템에 적응시키며, 느린 또는 고장난 에이전트가 존재하더라도 진행 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 라운드당 한 메시지만을 요구하는 분산 다중 에이전트 최적화가 고장 내성 보장과 함께 전역 최적해의 의미 있는 근사로 수렴할 수 있는가?
• RQ2 에이전트가 임의의 또는 악성 데이터를 전송할 수 있는 상황에서 바이러선트 고장을 어떻게 다룰 수 있는가?
• RQ3 최대 f개의 고장 난 에이전트가 존재할 경우 고장 내성을 확보하기 위해 필요한 최소 시스템 크기(n > 3f)는 얼마인가?
• RQ4 라운드당 한 메시지만을 요구하는 반복 알고리즘이 고장 모델 하에서도 수렴을 달성할 수 있는가?
• RQ5 비고장 에이전트에 할당된 가중치는 어떻게 변화하며, 고장 존재 상황에서 보장할 수 있는 하한은 무엇인가?

주요 결과

• 크래시 고장의 경우, 최종 해에서 최소 |N| − f개의 에이전트가 αi ≥ 1/(2(|N| − f))의 가중치를 확보하여 비고장 에이전트의 영향력에 하한을 제공한다.
• 알고리즘은 문제 2를 β = 1/n 및 γ = n − f로 해결하여 최소 n − f개의 에이전트가 최종 목표 함수에서 최소 1/n 이상의 가중치를 확보함을 의미한다.
• 바이러선트 고장 존재 시, 최소 |N| − 2f개의 에이전트가 αi ≥ 1/(2(|N| − f))의 가중치를 확보하여 악성 행동에 대한 강건성을 보장한다.
• 국소 비용 함수가 볼록이며, 연속 미분 가능하고 기울기가 L-리프시츠 연속일 경우 수렴이 보장됨을 증명하였다.
• 결과는 비동기 시스템으로 확장 가능하나, 문제 1(Crash faults)은 느린 에이전트를 고장난 것으로 잘못 분류할 가능성이 있어 해가 존재하지 않는다.
• 기울기 리프시츠 상수 L과 추정치 범위에 따라 오차 범위가 결정되며, 최대 f개의 에이전트가 고장나도 알고리즘이 안정성과 수렴성을 유지한다.