[논문 리뷰] Byzantine Multi-Agent Optimization: Part I

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|2015. 06. 15.

Islamic Finance and Banking StudiesBusiness, Management and Accounting인용 수 19

한 줄 요약

이 논문은 최대 f개의 에이전트가 임의로 행동할 수 있는 다중 에이전트 시스템에서 바르자인트 결함에 강인한 분산 최적화 문제를 다룬다. 제안된 비최적 알고리즘은 볼록 조합에서 최소 ⌈n/2⌉−ϕ개의 고장 나지 않은 에이전트가 0에서 벗어난 가중치를 가지며, 바르자인트 결함에도 불구하고 최적의 일致를 달성함을 보장한다. 주요 기여는 고장 나지 않은 에이전트가 솔루션에 영향을 미칠 수 있는 최대 수에 대한 날카로운 경계를 제공하며, 현실적인 가정 하에 이 경계를 충족하는 실용적인 알고리즘이 제안된다.

ABSTRACT

We study Byzantine fault-tolerant distributed optimization of a sum of convex (cost) functions with real-valued scalar input/ouput. In particular, the goal is to optimize a global cost function $\frac{1}{|\mathcal{N}|}\sum_{i\in \mathcal{N}} h_i(x)$, where $\mathcal{N}$ is the set of non-faulty agents, and $h_i(x)$ is agent $i$'s local cost function, which is initially known only to agent $i$. In general, when some of the agents may be Byzantine faulty, the above goal is unachievable, because the identity of the faulty agents is not necessarily known to the non-faulty agents, and the faulty agents may behave arbitrarily. Since the above global cost function cannot be optimized exactly in presence of Byzantine agents, we define a weaker version of the problem. The goal for the weaker problem is to generate an output that is an optimum of a function formed as a convex combination of local cost functions of the non-faulty agents. More precisely, for some choice of weights $α_i$ for $i\in \mathcal{N}$ such that $α_i\geq 0$ and $\sum_{i\in \mathcal{N}}α_i=1$, the output must be an optimum of the cost function $\sum_{i\in \mathcal{N}} α_ih_i(x)$. Ideally, we would like $α_i=\frac{1}{|\mathcal{N}|}$ for all $i\in \mathcal{N}$ -- however, this cannot be guaranteed due to the presence of faulty agents. In fact, we show that the maximum achievable number of nonzero weights ($α_i$'s) is $|\mathcal{N}|-f$, where $f$ is the upper bound on the number of Byzantine agents. In addition, we present algorithms that ensure that at least $|\mathcal{N}|-f$ agents have weights that are bounded away from 0. We also propose a low-complexity suboptimal algorithm, which ensures that at least $\lceil \frac{n}{2} ceil-ϕ$ agents have weights that are bounded away from 0, where $n$ is the total number of agents, and $ϕ$ ($ϕ\le f$) is the actual number of Byzantine agents.

연구 동기 및 목표

• 최대 f개의 에이전트가 바르자인트 결함을 일으키고 임의로 행동할 수 있는 다중 에이전트 시스템에서의 분산 최적화 문제를 다루는 것.
• 정확한 평균 최적화가 불가능하므로, 바르자인트 결함 하에서도 해결 가능한 더 약한 최적화 문제를 정의하는 것.
• 볼록 조합에서 국부적 비용 함수가 비자명하게 영향을 미치는 고장 나지 않은 에이전트의 수를 최대화하는 것.
• 해결책에서 최소한의 고장 나지 않은 에이전트가 0에서 벗어난 가중치를 가지도록 보장하는 저복잡도 알고리즘을 설계하는 것.
• 고장 나지 않은 에이전트가 의미 있게 포함될 수 있는 최대 수에 대한 이론적 경계를 설정하여, 이는 최대 |N|−f임을 보여주는 것.

제안 방법

• 문제는 문제 2로 재정의되며, 출력은 ∑ᵢ∈N αᵢhᵢ(x)의 최적값이 되어야 하며, 여기서 αᵢ ≥ 0 이고 ∑ᵢ∈N αᵢ = 1 이다.
• 비교적 간단한 중앙값 기반 접근 방식을 사용하여 솔루션을 추정하는 새로운 알고리즘을 제안하며, 이는 고장 나지 않은 에이전트의 값이 유한하고 일관됨을 이용한다.
• 후보 솔루션에서의 부분미분 부호 분석을 통해 최소 ⌈n/2⌉−ϕ개의 고장 나지 않은 에이전트가 0에서 벗어난 가중치를 가지도록 보장한다.
• 에이전트는 그들의 값 추정치에 따라 집합으로 분할된다: A(x̃)는 부분미분 합이 양수인 경우, B(x̃)는 음수인 경우, C(x̃)는 0인 경우.
• 이 집합들의 크기 비례하는 가중치와 균형 조정 파라미터 ζ ∈ [0,1]을 사용하여 볼록 조합을 구성하며, 부분미분 조건을 만족시킨다.
• 분석을 통해 유도된 솔루션이 가중치 합에 대한 최적값임을 증명하며, 최소 ⌈n/2⌉−ϕ개의 고장 나지 않은 에이전트가 1/(2|N|) 이상의 하한을 가지는 가중치로 기여한다.

실험 결과

연구 질문

• RQ1 바르자인트 결함이 존재하는 상황에서 고장 나지 않은 에이전트의 비용 함수 평균의 정확한 최적화를 달성할 수 있는가?
• RQ2 바르자인트에 강인한 분산 최적화 환경에서 고장 나지 않은 에이전트 중에서 솔루션에 비자명하게 영향을 미칠 수 있는 최대 수는 얼마인가?
• RQ3 저복잡도 알고리즘을 설계하여 바르자인트 행동에도 불구하고 의미 있게 기여하는 상당수의 고장 나지 않은 에이전트가 솔루션에 포함되도록 보장할 수 있는가?
• RQ4 고장 난 에이전트의 신원이 알려지지 않은 상태에서도 솔루션이 고장 나지 않은 에이전트의 비용 함수의 볼록 조합의 최적값임을 보장할 수 있는가?
• RQ5 고장 나지 않은 에이전트의 비용 함수가 솔루션에 의미 있게 포함될 수 있는 이론적 하한은 얼마인가?

주요 결과

• 볼록 조합에서 비제로 가중치를 가질 수 있는 고장 나지 않은 에이전트의 최대 수는 |N|−f로 제한되며, 여기서 f는 바르자인트 에이전트의 상한이다.
• 제안된 알고리즘은 실제로 f개의 바르자인트 에이전트가 존재할 경우 최소 ⌈n/2⌉−ϕ개의 고장 나지 않은 에이전트가 0에서 벗어난 가중치를 가지도록 보장한다.
• 솔루션은 ∑ᵢ∈N αᵢhᵢ(x)의 최적값으로 보장되며, 여기서 ∑ᵢ∈N αᵢ = 1 이고 αᵢ ≥ 0 이다.
• 중심값 기반 추정과 부분미분 부호 분석을 사용함으로써 저복잡도로 이 결과를 달성한다.
• 이론적 분석을 통해 고장 난 에이전트의 행동이 임의적이고 적대적일 경우에도 솔루션이 가중합에 대해 최적이 됨을 증명한다.
• n > 3f 조건을 만족함으로써 충분한 수의 고장 나지 않은 에이전트가 공감 과정를 지배할 수 있도록 보장된다.