[논문 리뷰] Technical Report: A Totally Asynchronous Algorithm for Tracking Solutions to Time-Varying Convex Optimization Problems

Gabriel Behrendt, Matthew Hale|arXiv (Cornell University)|2021. 10. 13.

Distributed Control Multi-Agent Systems참고 문헌 34인용 수 4

한 줄 요약

이 논문은 다중 에이전트 시스템에서 시간에 따라 변화하는 볼록 최적화 문제의 해를 추적하기 위한 완전히 이종적(first-order) 비중앙집중형 알고리즘을 제안한다. 이 알고리즘은 에이전트가 임의의 타이밍과 유한한 지연으로 계산 및 통신을 수행할 수 있도록 하며, 수렴 속도가 운영 순서에만 의존하고 타이밍에 영향을 받지 않으며, 자원 제약 조건 하에서 추적 오차를 최소화할 수 있도록 운영 순서를 최적화한다.

ABSTRACT

This paper presents a decentralized algorithm for a team of agents to track time-varying fixed points that are the solutions to time-varying convex optimization problems. The algorithm is first-order, and it allows for total asynchrony in the communications and computations of all agents, i.e., all such operations can occur with arbitrary timing and arbitrary (finite) delays. Convergence rates are computed in terms of the communications and computations that agents execute, without specifying when they must occur. These rates apply to convergence to the minimum of each individual objective function, as well as agents' long-run behavior as their objective functions change. Then, to improve the usage of limited communication and computation resources, we optimize the timing of agents' operations relative to changes in their objective functions to minimize total fixed point tracking error over time. Simulation results are presented to illustrate these developments in practice and empirically assess their robustness to uncertainties in agents' update laws.

연구 동기 및 목표

• 시간에 따라 변화하는 볼록 최적화 문제에서 이종적 알고리즘의 수렴 보장을 확보하지 못하는 문제를 해결하기 위해.
• 계산 및 통신에서 완전한 이종성 하에서도 에이전트가 시간에 따라 변화하는 최적 해를 추적할 수 있도록 하기 위해.
• 수렴 속도가 지연 범위나 고정된 타이밍과는 무관하게 운영 순서에만 의존하도록 유도하기 위해.
• 자원 제약 조건 하에서 통신 및 계산 순서를 최적화하여 고정점 추적 오차를 최소화하기 위해.
• 동적 환경에서 노이즈 및 이종성에 대한 강건성을 실증적으로 검증하기 위해.

제안 방법

• 알고리즘은 블록 기반의 1차 경사하강법을 사용하며, 에이전트가 결정 변수의 부분 집합을 독립적으로 업데이트하고 통신한다.
• 수렴 속도는 지연 범위나 동기화된 타이밍에 기반하지 않고, 통신과 계산의 교차 순서에 기반하여 유도된다.
• 통신 및 계산 제약 조건 하에서 추적 오차를 최소화하는 최적의 운영 순서를 도출하기 위해 제약 조건이 있는 최적화 문제를 수립한다.
• 최적의 순서는 닫힌 형태로 해결되어, 목적 함수 변화에 따라 실시간으로 운영 순서를 조정할 수 있다.
• 이 방법은 이산적 스위치가 있는 이차 목적 함수와 측정 불확실성이 있는 노이즈가 있는 피드백 최적화 문제에 모두 적용된다.
• 시뮬레이션을 통해 이종성과 노이즈 하에서의 성능을 검증하였으며, 유한한 오차 구역 내에서 안정적인 추적을 보였다.

실험 결과

연구 질문

• RQ1 완전히 이종적인 다중 에이전트 알고리즘이 유한한 지연이나 동기화된 타이밍에 의존하지 않고 시간에 따라 변화하는 볼록 최적화 문제의 해를 추적할 수 있는가?
• RQ2 수렴 속도는 타이밍 제약 조건이 아닌 운영 순서에 따라 어떻게 정량화할 수 있는가?
• RQ3 자원 제약 조건 하에서 고정점 추적 오차를 최소화하기 위한 통신 및 계산의 최적 순서는 무엇인가?
• RQ4 피드백 최적화 설정에서 측정 노이즈가 있는 상황에서 알고리즘의 성능은 어떠한가?
• RQ5 목적 함수의 급격한 변화가 발생하더라도 알고리즘은 유한한 추적 오차를 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 완전한 이종성 하에서도 시간에 따라 변화하는 최적 해로 수렴하며, 수렴 속도는 통신 및 계산의 순서에만 의존하고 타이밍에는 영향을 받지 않는다.
• 유한 시간 및 渐近적 영역 모두에서 추적 오차는 유한하며, 문제 파라미터와 운영 순서에 명시적인 의존성을 보인다.
• 자원이 제한된 조건에서 최적의 운영 순서는 닫힌 형태로 도출되어 통신 및 계산 제약 조건 하에서 추적 오차를 최소화한다.
• 이산적 목적 함수 스위치가 있는 시뮬레이션에서, 8번째 스위치 직전에 에이전트는 평균 추적 오차 1.192를 기록했으며, 노이즈 있는 측정 조건에서도 성능을 유지했다.
• 알고리즘은 이종성과 측정 노이즈에 강건하며, 진짜 최소값 주변의 작은 오차 구역 내에서 추적을 유지한다.
• 목적 함수 스위치 시점에서 오차가 급격히 증가하지만, 이후 통신 사이클을 통해 신속히 복구되며, 이는 동적 적응성의 확인이다.