[논문 리뷰] Efficient Information Aggregation Strategies for Distributed Control and Signal Processing

Alexander Olshevsky|arXiv (Cornell University)|2010. 09. 30.

Distributed Control Multi-Agent Systems참고 문헌 94인용 수 29

한 줄 요약

이 논문은 시간에 따라 변화하는 연결성과 제한된 통신을 가진 대규모 네트워크에 대해 새로운, 증명 가능하게 최적의 분산 평균 알고리즘을 제안한다. ε-정확도를 달성하기 위한 O(n³ log(nε))의 시간 복잡도를 가진 빠른 수렴 프로토콜을 도입하고, 수렴 시간에 대한 기본적인 Ω(n³) 하한을 설정하며, 실용적 구현을 위한 양자화 및 일정 비트 통신 변형을 개발하여 탈중앙화된 시스템에서 효율적인 분산 제어 및 신호 처리를 가능하게 한다.

ABSTRACT

This thesis is concerned with distributed control and coordination of networks consisting of multiple, potentially mobile, agents. This is motivated mainly by the emergence of large scale networks characterized by the lack of centralized access to information and time-varying connectivity. Control and optimization algorithms deployed in such networks should be completely distributed, relying only on local observations and information, and robust against unexpected changes in topology such as link failures. We will describe protocols to solve certain control and signal processing problems in this setting. We will demonstrate that a key challenge for such systems is the problem of computing averages in a decentralized way. Namely, we will show that a number of distributed control and signal processing problems can be solved straightforwardly if solutions to the averaging problem are available. The rest of the thesis will be concerned with algorithms for the averaging problem and its generalizations. We will (i) derive the fastest known averaging algorithms in a variety of settings and subject to a variety of communication and storage constraints (ii) prove a lower bound identifying a fundamental barrier for averaging algorithms (iii) propose a new model for distributed function computation which reflects the constraints facing many large-scale networks, and nearly characterize the general class of functions which can be computed in this model.

연구 동기 및 목표

• 시간에 따라 변화하는 연결성과 중앙 집중식 조정 없이도 효율적인 정보 집약을 달성하는 데 도전한다.
• 분산 제어 및 신호 처리 응용에 적합한 빠르고 강건하며 통신 효율적인 평균 알고리즘을 개발한다.
• 동적 네트워크에서 평균 알고리즘의 수렴 속도에 대한 기본적인 한계를 설정한다.
• 양자화 및 링크당 일정 비트 전송과 같은 엄격한 통신 제약 조건 하에서 작동하는 프로토콜을 설계한다.
• 현실적인 제약 조건을 고려한 대규모 네트워크에서의 분산 함수 계산을 위한 통합 프레임워크를 제공한다.

제안 방법

• 각 노드가 국소 상태를 유지하고 매 시간 단계에서 무작위로 선택된 이웃과의 쌍방 평균을 통해 이를 갱신하는 분산 평균 프로토콜을 제안한다.
• 기하 수렴 속도 1 − c/n³를 확보하는 새로운 알고리즘을 도입하여, 초기 값이 [0,1] 범위에 있을 경우 ε-정확도를 O(n³ log(nε)) 시간 내에 달성한다.
• 스토하스틱 행렬의 스펙트럼 성질을 포함한 그래프 이론적 및 행렬 분석 도구를 사용하여 시간에 따라 변화하는 통신 그래프에서의 수렴을 분석한다.
• 일반적인 연결성 가정 하에 어떤 분산 평균 알고리즘의 수렴 시간에 대해 Ω(n³)의 하한을 증명한다.
• 유한 정밀도 조건에서도 정확도를 유지하는 양자화 평균 프로토콜을 설계하며, 오차 범위는 양자화 수준에 따라 결정된다.
• 상수 비트당 링크로만 가능한 분산 함수 계산을 가능하게 하는 간격 평균 기법을 도입한다.

실험 결과

연구 질문

• RQ1 임의의 연결된 그래프를 갖는 시간에 따라 변화하는 네트워크에서 분산 평균의 가장 빠른 수렴 속도는 무엇인가?
• RQ2 링크 장애 및 시간에 따라 변화하는 통신 패tern에 대해 강건한 분산 평균 알고리즘을 설계할 수 있는가?
• RQ3 최소한의 가정 하에서 분산 평균 알고리즘의 수렴 속도에 대한 기본적인 한계는 무엇인가?
• RQ4 링크당 상수 비트 수만을 사용하여 분산 함수 계산—특히 평균 및 최대값 추적—을 수행할 수 있는가?
• RQ5 양자화가 분산 평균 알고리즘의 정확도와 수렴에 미치는 영향은 무엇인가?

주요 결과

• 제안된 알고리즘은 초기 값이 [0,1]일 경우 O(n³ log(nε)) 시간 내에 평균으로 수렴하며, 기하 수렴 속도는 1 − c/n³이다.
• 일반적인 연결성 가정 하에 어떤 분산 평균 알고리즘의 수렴 시간에 대해 Ω(n³)의 기본 하한이 증명되었다.
• 네트워크가 시간 간격 동안 연결되어 있는 한, 시간에 따라 변화하는 연결성, 즉 링크 장애 및 지연에도 강건하다.
• 오차가 O(1/Q) 이하로 제한되는 양자화 평균 프로토콜이 개발되었으며, 여기서 Q는 양자화 수준이다. 이는 진짜 평균 주변으로 수렴함을 보장한다.
• 링크당 상수 비트만을 사용하여 최대값 및 기타 함수의 분산 계산을 가능하게 하는 상수 비트 통신 프로토콜이 제안되었다.
• 간격 평균 기법을 통해 엄격한 대역폭 제약 조건 하에서도 최대값 및 평균과 같은 함수의 효율적이고 정확한 분산 계산이 가능해졌다.