[논문 리뷰] Distributed Online Optimization for Multi-Agent Optimal Transport

Vishaal Krishnan, Sonia Martı́nez|arXiv (Cornell University)|2018. 04. 04.

Distributed Control Multi-Agent Systems인용 수 4

한 줄 요약

이 논문은 다중 에이전트 최적 운반 문제를 위한 확장 가능하고 분산된 온라인 최적화 알고리즘을 제안한다. 이는 두 단계 반복적 프로세스를 사용한다: 에이전트들이 국소 정보 교환을 통해 분산 원-이중 최적화 알고리즘을 통해 칸토로비치 포텐셜을 공동으로 추정하고, 그 다음에 집합적 운반을 목표 확률 측도로 이동시키기 위해 프록시멀 강하를 수행한다. 이 방법은 최적 운반 계획으로의 점진적 수렴을 보장하면서도 분산형 실시간 구현이 가능하며 이론적 보장도 제공한다.

ABSTRACT

We propose a scalable, distributed algorithm for the optimal transport of large-scale multi-agent systems. We formulate the problem as one of steering the collective towards a target probability measure while minimizing the total cost of transport, with the additional constraint of distributed implementation. Using optimal transport theory, we realize the solution as an iterative transport based on a proximal descent scheme. At each stage of the transport, the agents implement an online, distributed primal-dual algorithm to obtain local estimates of the Kantorovich potential for optimal transport from the current distribution of the collective to the target distribution. Using these estimates as their local objective functions, the agents then implement the transport by proximal descent. This two-step process is carried out recursively by the agents to converge asymptotically to the target distribution. We rigorously establish the underlying theoretical framework for the algorithm and test its behavior via numerical experiments.

연구 동기 및 목표

• 대규모 다중 에이전트 시스템에서 진정으로 분산형이며 확장 가능한 최적 운반 알고리즘이 부족한 문제를 해결하기 위해.
• 운반 비용을 최소화하면서도 목표 공간 분포로 향하는 다중 에이전트 집단의 실시간 탈중앙화 제어를 가능하게 하기 위해.
• 중앙 집중형 계획 수립이나 과도한 에이전트 간 통신을 피하는 분산형 온라인 알고리즘을 개발하기 위해.
• 최적 운반 이론을 활용하여 제안된 분산형 방법의 수렴성과 이론적 타당성을 엄밀히 확립하기 위해.

제안 방법

• 알고리즘은 거리 비용에 대해 칸토로비치 이중성을 사용하여 최적 운반 문제의 이중 형태를 유도한다.
• 에이전트들은 국소 정보 교환을 통해 분산 원-이중 온라인 최적화 프로세스를 반복적으로 사용하여 칸토로비치 포텐셜을 추정한다.
• 각 에이전트는 자신의 국소 포텐셜 추정치를 지역 목표 함수로 사용하여 프록시멀 강하 업데이트를 수행함으로써 운반 단계를 계산한다.
• 이 과정은 재귀적이다: 각 반복 단계에서 에이전트들은 국소 포텐셜 추정치와 프록시멀 업데이트를 기반으로 자신의 위치를 갱신하여 운반 비용을 최소화한다.
• 이 방법은 칸토로비치 포텐셜이 거의 어디서나 미분 가능하다는 사실을 활용하여 길이 최소화 경로를 따라 기하학적 경로(지오데식) 기반 운반을 가능하게 한다.
• 이중 형태의 성질을 이용하고 지오데식 운반과의 등가성을 보여줌으로써 최적 운반 계획으로의 수렴이 입증된다.

실험 결과

연구 질문

• RQ1 다중 에이전트 시스템의 최적 운반을 중앙 집중형 계획 없이 완전히 분산형이고 온라인으로 구현할 수 있는가?
• RQ2 에이전트들은 국소 정보와 제한된 통신만으로 칸토로비치 포텐셜을 공동으로 어떻게 추정할 수 있는가?
• RQ3 프록시멀 강하 단계와 최적 운반 계획 내 지오데식 경로 사이의 관계는 무엇인가?
• RQ4 제안된 분산 알고리즘이 주어진 제약 조건 하에서 최적 운반 계획으로 점차 수렴할 수 있는가?

주요 결과

• 제안된 분산 원-이중 알고리즘은 이웃 수준의 통신만으로도 에이전트들이 국소적으로 칸토로비치 포텐셜을 추정할 수 있도록 한다.
• 국소 포텐셜 추정치를 기반으로 한 프록시멀 강하 단계는 국소적으로 최적 운반 계획으로 점차 수렴한다.
• 최적 운반 계획이 지오데식을 따라 운반되는 것과 동치임을 입증하였으며, 이 방법의 최소화자들은 이러한 지오데식의 부분 세그먼트에 해당한다.
• 칸토로비치 포텐셜은 거의 어디서나 미분 가능하며, 그 기울기 노름은 유계이므로 안정적인 국소 계산이 가능하다.
• 중앙 집중형 계산이나 시스템 상태의 전역 지식 없이도 목표 분포로의 수렴을 달성한다.