[논문 리뷰] Multi-Agent Online Optimization with Delays: Asynchronicity, Adaptivity, and Optimism

Yu-Guan Hsieh, Franck Iutzeler외 2명|arXiv (Cornell University)|2020. 12. 21.

Advanced Bandit Algorithms Research참고 문헌 71인용 수 10

한 줄 요약

이 논문은 지연과 비동기성을 고려한 다중 에이전트 온라인 최적화를 위한 탈중앙화되고 적응적인 이중 평균 알고리즘을 제안한다. 의존성 그래프와 누적 피드백 기반 적응형 학습률을 활용함으로써, 전역적 조율나 타이머가 없어도 최적의 O(√(τNM_max))의 오차 한계를 달성한다.

ABSTRACT

In this paper, we provide a general framework for studying multi-agent online learning problems in the presence of delays and asynchronicities. Specifically, we propose and analyze a class of adaptive dual averaging schemes in which agents only need to accumulate gradient feedback received from the whole system, without requiring any between-agent coordination. In the single-agent case, the adaptivity of the proposed method allows us to extend a range of existing results to problems with potentially unbounded delays between playing an action and receiving the corresponding feedback. In the multi-agent case, the situation is significantly more complicated because agents may not have access to a global clock to use as a reference point; to overcome this, we focus on the information that is available for producing each prediction rather than the actual delay associated with each feedback. This allows us to derive adaptive learning strategies with optimal regret bounds, even in a fully decentralized, asynchronous environment. Finally, we also analyze an "optimistic" variant of the proposed algorithm which is capable of exploiting the predictability of problems with a slower variation and leads to improved regret bounds.

연구 동기 및 목표

• 지연되고 비동기적인 피드백을 가진 다중 에이전트 시스템에서의 온라인 학습 문제를 해결하기 위해.
• 전역적 조율이나 공유 타이머가 필요 없는 탈중앙화 알고리즘을 설계하기 위해.
• 데이터 및 지연 특성에 따라 달라지는 최적의 오차 한계를 달성하기 위해.
• 원래 단일 에이전트 환경에서 사용되던 적응형 학습 방법을 완전히 비동기적이고 다중 에이전트 환경으로 확장하기 위해.
• 환경의 변화가 서서히 일어나는 상황에서 오차 한계를 향상시키는 온전한(optimistic) 변종을 분석하기 위해.

제안 방법

• 피드백 수신 및 사용을 에이전트 간에 모델링하기 위해 방향성 비순환 그래프(DAG)인 의존성 그래프를 도입한다.
• 수신된 피드백 요소의 수에 기반한 적응형 학습률을 사용하며, 역근의 합 규칙에 영감을 받는다.
• 부드럽지 않거나 시간에 따라 변하는 손실 함수를 다루기 위해 미러 강하를 적용한 이중 평균 프레임워크를 적용한다.
• 학습률 업데이트가 단조롭지 않을 경우를 관리하기 위해 피드백 인덱스의 충실한 순열을 활용한다.
• 미러 매핑의 비확장성과 에이전트 간의 기울기 편차에 대한 경계를 사용하여 오차 한계를 유도한다.
• 환경의 변화가 서서히 일어나는 상황을 활용해 오차 한계를 향상시키는 온전한 변종을 제안한다.

실험 결과

연구 질문

• RQ1 임의의 지연과 전역 타이머가 없는 다중 에이전트 시스템에서 적응형이고 탈중앙화된 온라인 학습이 가능할 수 있는가?
• RQ2 무한대의 지연이 허용되는 비동기적이고 탈중앙화된 다중 에이전트 온라인 최적화에서 어떤 오차 한계가 달성 가능한가?
• RQ3 학습률을 탈중앙화된 환경에서 구현 가능하면서도 적응형으로 설계할 수 있는가?
• RQ4 비동기성 하에서 환경의 변화가 서서히 일어나는 상황에서 온전함이 오차 성능을 향상시킬 수 있는가?
• RQ5 피드백의 비단조화성과 이질적인 업데이트 빈도가 오차 한계에 어떤 영향을 미치는가?

주요 결과

• 제안된 탈중앙화 지연 이중 평균(D-DDA) 알고리즘은 주어진 가정 하에 최적의 O(√(τNM_max)) 집단적 오차 한계를 달성한다.
• 학습률 η_i,t = R/(G√((5τ+3)(card(S_i,t) + (τ+1)M_max)M_max))는 각 에이전트가 국소 피드백 수만을 사용하여도 구현 가능하다.
• 피드백 도착이 비단조화적이거나 에이전트가 전역 시간 참조에 접근할 수 없어도 이 방법은 여전히 효과적이다.
• 알고리즘의 온전한 변종은 환경의 서서히 변화하는 특성을 활용해 오차 한계를 향상시킨다.
• 분석을 통해 알고리즘이 무한대의 지연이 존재하는 상황에서도 최적의 오차 한계를 유지함을 입증하였으며, 기존의 단일 에이전트 결과를 다중 에이전트 및 비동기 환경으로 확장한다.
• 의존성 그래프 프레임워크는 탈중앙화 시스템에서 피드백 도착 시간과 학습률 적응의 엄밀한 분석을 가능하게 한다.