[논문 리뷰] Nonhomogeneous Place-Dependent Markov Chains, Unsynchronised AIMD, and Network Utility Maximization

Fabian Wirth, Sonja Stuedli외 3명|arXiv (Cornell University)|2014. 04. 20.

Network Traffic and Congestion Control참고 문헌 12인용 수 16

한 줄 요약

이 논문은 비동기 AIMD와 간헐적인 용량 신호에 대한 확률적 반응을 사용하여 통신 비용을 최소화하는 네트워크 유용도 최적화를 위한 알고리즘을 제안한다. 비균일한 장소 의존 마르코프 체인을 통해 거의 확실한 수렴을 증명하며, 상호작용 통신이나 공통 시계 없이도 한 비트 피드백만으로도 사회적 최적에 수렴한다.

ABSTRACT

We present a solution of a class of network utility maximization (NUM) problems using minimal communication. The constraints of the problem are inspired less by TCP-like congestion control but by problems in the area of internet of things and related areas in which the need arises to bring the behavior of a large group of agents to a social optimum. The approach uses only intermittent feedback, no inter-agent communication, and no common clock. The proposed algorithm is a combination of the classical AIMD algorithm in conjunction with a simple probabilistic rule for the agents to respond to a capacity signal. This leads to a nonhomogeneous Markov chain and we show almost sure convergence of this chain to the social optimum.

연구 동기 및 목표

• 에이전트가 제한된 액추에이터, 프라이버시 제약, 공통 시계 없이도 적용 가능한 대규모 IoT 및 스마트 시스템 최적화 문제를 해결한다.
• 상호에이전트 신호 없이도 최소한의 통신만으로, 중심 집합 피드백이 단일 용량 신호 외에는 없도록 네트워크 유용도 최적화(NUM) 문제를 해결한다.
• 에이전트 수의 변동, 개인 비용 함수, 간헐적인 피드백 등에도 불구하고 사회적 최적에 수렴하도록 보장한다.
• 네트워크 이질성과 비동기 작동에 강건한 확장 가능한 분산 알고리즘을 설계한다.

제안 방법

• 에이전트가 자원 사용량을 점진적으로 증가시키고, 용량 신호를 수신하면 곱으로 감소시키는 추가 증가 곱 감소(AIMD) 역학을 사용한다.
• 에이전트가 장기 평균 자원 사용량에 따라 의존하는 확률 λi에 따라 용량 신호에 확률적으로 반응하는 규칙을 도입한다.
• 간헐적인 피드백 하에서 수렴 행동을 분석하기 위해 시스템을 비균일한 장소 의존 마르코프 체인으로 모델링한다.
• 반복 함수 시스템과 불변 측도 이론을 적용하여 시스템의 장기적 행동을 특성화한다.
• 최적 할당 벡터 w*로의 수렴을 추적하기 위해 ℓ1 및 하우스도르프 거리 측도를 사용한다.
• 모멘트 한계와 尾 확률 추정치를 활용하여 상태 거리의 기대 로그 드리프트를 분석함으로써 거의 확실한 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 분산형, 최소 통신량 알고리즘이 대규모 네트워크 유용도 최적화에서 사회적 최적에 수렴할 수 있는가?
• RQ2 상호에이전트 통신 없이 간헐적인 한 비트 피드백만 존재할 경우, 시스템은 거의 확실하게 최적 할당에 수렴하는가?
• RQ3 장기 평균 사용량에 의존하는 확률적 반응 규칙이 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ4 네트워크 크기와 무관하게, 오직 악성 에이전트의 최악의 경우에만 의존하여 수렴을 보장할 수 있는가?
• RQ5 비균일한 마르코프 체인 구조는 비동기적, 비동기적으로 업데이트되는 에이전트 상황에서 수렴을 보장하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 알고리즘은 상호에이전트 통신이나 공통 시계 없이도 최적 할당 벡터 w*로 거의 확실하게 수렴한다.
• 용량 위반 여부를 알리는 간헐적인 한 비트 피드백만으로도 수렴이 보장되며, 라그랑주 승수나 정확한 자원 수준을 통신할 필요가 없다.
• 수렴 속도는 총 에이전트 수에 관계없이 오직 최악의 에이전트에 의해 결정되며, 이는 확장성을 보장한다.
• 시스템의 역학은 비균일한 장소 의존 마르코프 체인으로 모델링되며, 음의 드리프트 항목의 거의 확실한 발산을 통해 거의 확실한 수렴이 증명된다.
• 소규모 편향이 존재하더라도 알고리즘은 안정적이며, 유한 시간 이후 상태가 최적점 주변의 점점 작아지는 이웃 영역 내에 거의 확실하게 머무른다.
• 증명은 최적 집합으로부터의 거리의 기대 로그 드리프트를 상한선으로 제한하며, 로그 드리프트 항목의 합이 거의 확실하게 −∞로 발산함을 보여준다.