[논문 리뷰] Byzantine Multi-Agent Optimization: Part II

Lili Su, Nitin H. Vaidya|arXiv (Cornell University)|2015. 07. 07.

Optimization and Search Problems참고 문헌 30인용 수 33

한 줄 요약

이 논문은 임의의 방향성 그래프 상에서 분산 볼록 최적화를 위한 조건 기반 바르자인 다중 에이전트 최적화 프레임워크를 제안한다. 이 프레임워크는 최대 f개의 바르자인 장애가 발생하더라도 k개의 입력 함수 평균에 대한 공감대를 형성할 수 있도록 한다. 두 가지 알고리즘을 도입한다: 부가 정보를 사용하는 매핑 기반 방법(부드러운 함수에 적합)과 부가 정보가 필요 없는 경량 공감 기반 방법(비부드러운 함수에 적합), 둘 다 부득이한 조건 하에서 진짜 평균 최적해로 수렴한다.

ABSTRACT

In Part I of this report, we introduced a Byzantine fault-tolerant distributed optimization problem whose goal is to optimize a sum of convex (cost) functions with real-valued scalar input/ouput. In this second part, we introduce a condition-based variant of the original problem over arbitrary directed graphs. Specifically, for a given collection of $k$ input functions $h_1(x), \ldots, h_k(x)$, we consider the scenario when the local cost function stored at agent $j$, denoted by $g_j(x)$, is formed as a convex combination of the $k$ input functions $h_1(x), \ldots, h_k(x)$. The goal of this condition-based problem is to generate an output that is an optimum of $\frac{1}{k}\sum_{i=1}^k h_i(x)$. Depending on the availability of side information at each agent, two slightly different variants are considered. We show that for a given graph, the problem can indeed be solved despite the presence of faulty agents. In particular, even in the absence of side information at each agent, when adequate redundancy is available in the optima of input functions, a distributed algorithm is proposed in which each agent carries minimal state across iterations.

연구 동기 및 목표

• 임의의 방향성 그래프 상에서 분산 다중 에이전트 최적화의 바르자인 장애 내성 문제를 해결하기 위해.
• 최대 f명의 바르자인 에이전트가 존재하더라도 비고장 에이전트가 k개의 입력 볼록 함수 평균의 최소화점을 수렴하도록 보장하기 위해.
• 최소한의 상태와 계산 자원을 요구하는 경량 장애 내성 알고리즘 설계를 위해, 특히 부가 정보가 가용하지 않을 경우를 고려하여.
• 문제가 해결 가능한 조건을 설정하기 위해, 특히 입력 함수들이 공통 최소화점을 공유하거나 충분한 재현성(중복성)이 있을 경우.
• 복원 기반 접근법과 공감 기반 접근법 간의 상호 교환 조건을 메모리, 계산량, 부드러운 함수 대비 비부드러운 함수 적용 가능성 측면에서 비교하기 위해.

제안 방법

• 각 에이전트의 국소 비용이 k개의 입력 함수의 볼록 조합임을 조건 기반 최적화 문제로 수식화하며, 작업 할당 행렬 A를 사용한다.
• 다양한 입력 함수와 에이전트에 부가 정보가 존재할 경우를 전제로, 그래디언트 강하와 복원 절차를 결합한 복원 기반 알고리즘을 도입한다.
• 부가 정보가 필요 없고, 각 에이전트의 상태가 최소한이며, 반복마다 복원을 수행하지 않는 경량 공감 기반 알고리즘을 제안한다. 이는 비부드러운 함수에 적합하다.
• 에이전트가 추정치를 반복적으로 평균화하고 기울기 단계를 적용하는 동적 공감 업데이트 규칙을 사용하며, 그래프 연결성과 재현성 조건 하에서 수렴을 보장한다.
• 수렴을 보장하기 위해 감소하는 단계 크기 α(t)를 사용하며, ∑α²(t) < ∞ 를 만족한다. 또한 리아푸노프 유사 분석을 통해 추정 오차의 유계성을 증명한다.
• 에이전트 기여의 충분한 재현성을 보장하기 위해 조건 1(그래프 구조)과 A의 희소성(sparse A, sp(A) = k′)에 의존한다.

실험 결과

연구 질문

• RQ1 에이전트가 입력 함수들의 볼록 조합만 저장할 경우, 임의의 방향성 그래프 상에서 바르자인 다중 에이전트 최적화 문제를 해결할 수 있는가?
• RQ2 비고장 에이전트가 바르자인 장애가 존재하더라도 k개의 입력 함수 평균의 최소화점을 수렴할 수 있는 조건은 무엇인가?
• RQ3 부가 정보의 가용성이 바르자인 내성 분산 최적화 알고리즘의 설계 및 성능에 어떤 영향을 미치는가?
• RQ4 부가 정보 없이 복원 없이도 수렴을 달성할 수 있는 경량 공감 기반 알고리즘은 존재하는가? 어떤 함수 클래스에 대해 적용 가능한가?
• RQ5 바르자인 내성 분산 최적화에서 계산 복잡도, 메모리 사용량, 함수의 부드러움 간의 상호 교환 조건은 무엇인가?

주요 결과

• 공감 기반 알고리즘은 모든 입력 함수가 적어도 하나의 공통 최소화점을 공유할 경우, 부가 정보 없이도 진짜 평균 최적해로 수렴한다.
• 복원 기반 알고리즘은 입력 함수가 미분 가능하고 부가 정보가 가용할 경우, 적절한 생성 행렬을 사용해 복원함으로써 평균 최적해로 수렴함을 보장한다.
• 공감 기반 알고리즘은 각 에이전트의 상태를 최소화하고 반복마다 복원을 생략함으로써 메모리와 계산 오버헤드를 줄인다.
• 공통 최소화점 가정 하에 국소 추정치의 극한이 평균 함수 h(x) = (1/k)∑hᵢ(x)의 최소화점 집합에 속한다는 것을 보장한다.
• 추정 오차의 유계성과 기울기 관련 항목의 합계 가능성을 바탕으로 수렴을 증명하며, 이는 ∑α²(t) < ∞ 와 임계 부분집합 내 에이전트 가중치의 양의 하한을 전제로 한다.
• 문제는 조건 1(그래프 조건)과 작업 할당 행렬 A의 구조적 가정 하에서 해결 가능하며, 이는 비고장 에이전트의 기여에 충분한 재현성을 보장한다.