[논문 리뷰] Resilience in Collaborative Optimization: Redundant and Independent Cost Functions

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|2020. 03. 21.

Distributed Control Multi-Agent Systems참고 문헌 26인용 수 7

한 줄 요약

이 논문은 Byanatine fault가 존재하는 다중 에이전트 시스템에서 협업 최적화를 위한 내성성 프레임워크를 제안하며, $t$-내성성에 대해 필수적이고도 충분한 조건으로 $2t$-과잉 복제를 도입한다. 비결함성 에이전트의 비용 함수에 과잉 복제 성질이 있거나 함수들이 독립적일 경우, 과잉 복제된 비용 함수 성질 또는 약한 내성성 메트릭을 통해 결함 내성성을 달성하는 알고리즘을 제안하며, 악성 기울기의 영향을 줄이기 위해 비교적 기울기 자르기(Comparative Gradient Clipping) 방식을 사용하는 기울기 기반 방법을 제시한다.

ABSTRACT

This report considers the problem of Byzantine fault-tolerance in multi-agent collaborative optimization. In this problem, each agent has a local cost function. The goal of a collaborative optimization algorithm is to compute a minimum of the aggregate of the agents' cost functions. We consider the case when a certain number of agents may be Byzantine faulty. Such faulty agents may not follow a prescribed algorithm, and they may send arbitrary or incorrect information regarding their local cost functions. A reasonable goal in presence of such faulty agents is to minimize the aggregate cost of the non-faulty agents. In this report, we show that this goal can be achieved if and only if the cost functions of the non-faulty agents have a minimal redundancy property. We present different algorithms that achieve such tolerance against faulty agents, and demonstrate a trade-off between the complexity of an algorithm and the properties of the agents' cost functions. Further, we also consider the case when the cost functions are independent or do not satisfy the minimal redundancy property. In that case, we quantify the tolerance against faulty agents by introducing a metric called weak resilience. We present an algorithm that attains weak resilience when the faulty agents are in the minority and the cost functions are non-negative.

연구 동기 및 목표

• 에이전트가 임의적이거나 잘못된 비용 함수 데이터를 전송할 수 있는 협업 최적화에서 Byanatine 결함 내성성을 다루기.
• 결함성이 있는 에이전트가 존재하더라도 비결함성 에이전트가 여전히 총합 비용을 최소화할 수 있는 조건을 규명하기.
• 비용 함수에 과잉 복제 성질이 없을 경우를 대비해 새로운 내성성 메트릭인 $(u,t)$-약한 내성성 도입하기.
• 비용 함수 성질에 대한 가정과 계산 복잡도 사이의 균형을 고려한 효율적인 알고리즘 설계하기.
• 비교적 기울기 자르기 기반의 기울기 기반 방법을 통해 기울기 기반 협업 학습에서 내성성 확보하기.

제안 방법

• Byzantine 에이전트가 존재하는 협업 최적화에서 $t$-내성성을 확보하기 위해 $2t$-과잉 복제를 필수적이고 충분한 조건으로 정의한다.
• 과잉 복제 조건을 전제로 하여 비용 함수 값의 필터링 및 집계 기반의 $t$-내성성 알고리즘을 제안한다.
• 비용 함수가 독립적이거나 과잉 복제 성질이 없을 경우의 내성성 수준을 정량화하기 위해 $(u,t)$-약한 내성성 메트릭을 도입한다.
• 비용 함수가 음이 아닌 값이며 $n > 2t$일 경우, $u \geq t$를 만족하는 $(u,t)$-약한 내성성 알고리즘을 설계한다.
• 서버가 '비교적 기울기 자르기'(Comparative Gradient Clipping, CGC)를 사용하여 가장 큰 $t$개의 기울기 노름을 제거하는 기울기 경량화 기반 알고리즘을 구현한다.
• 에이전트 수 $n > 2t$를 전제로 하여 신뢰할 수 있는 서버를 사용한 클라이언트-서버 아키텍처에서 집계 및 결함 완화를 조율한다.

실험 결과

연구 질문

• RQ1 Byzantine 결함 하에서 협업 최적화에서 $t$-내성성을 달성하기 위해 에이전트의 비용 함수에 필요한 조건은 무엇이며, 그 조건이 충분한가?
• RQ2 비용 함수가 독립적이고 과잉 복제 성질이 없을 경우 내성성은 어떻게 정량화하고 달성할 수 있는가?
• RQ3 Byzantine 내성성 협업 최적화에서 알고리즘 복잡도와 비용 함수 성질에 대한 가정 사이의 트레이드오프는 무엇인가?
• RQ4 비교적 기울기 자르기와 같은 단순한 기울기 필터링 메커니즘이 결함성이 있는 에이전트가 존재하는 협업 학습에서 내성성을 보장할 수 있는가?
• RQ5 비용 함수에 과잉 복제 성질이 없을 경우 약한 내성성은 어떤 조건에서 달성될 수 있는가?

주요 결과

• 비결함성 에이전트의 진짜 비용 함수에 대해 $2t$-과잉 복제 성질이 협업 최적화에서 $t$-내성성을 확보하기 위해 필수적이고 충분하다.
• $(t,t)$-약한 내성성 알고리즘의 정규화된 구현은 비용 함수가 음이 아니며 $2t$-과잉 복제 조건을 만족할 경우 $t$-내성성을 달성한다.
• 제안된 약한 내성성 메트릭인 $(u,t)$-약한 내성성은 독립적인 비용 함수를 가진 시스템에서 내성성 수준을 정량화하며, 음이 아닌 비용 함수와 $n > 2t$ 조건 하에서 모든 $u \geq t$에 대해 내성성을 달성한다.
• 비교적 기울기 자르기(CGC) 메커니즘은 가장 큰 $t$개의 기울기 노름을 $(t+1)$-번째로 큰 기울기의 노름으로 자르므로, 최대 $t$개의 결함성 에이전트의 기울기 영향을 효과적으로 억제한다.
• 기울기 기반 알고리즘은 $2t$-과잉 복제 조건과 추가적인 비용 함수 성질에 대한 가정 하에서 $t$-내성성을 확보하며, 이는 이전 연구 [13]에서 증명된 linh이다.
• 알고리즘 복잡도와 비용 함수 성질에 대한 가정 사이에 트레이드오프가 존재한다: 더 단순한 알고리즘은 비용 함수의 음이 아니거나 과잉 복제 성질과 같은 더 강한 가정을 필요로 한다.