[논문 리뷰] Dynamic Regret Analysis of Safe Distributed Online Optimization for Convex and Non-convex Problems

T. T. Chang, Sapana Chaudhary외 2명|arXiv (Cornell University)|2023. 02. 23.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 미지의 선형 제약 조건 하에서 안전성을 보장하면서 동적 리그레스를 최소화하는 분산 온라인 최적화 알고리즘인 D-Safe-OGD를 제안한다. 공동 제약 조건 추정과 온라인 경사 하강법을 결합하여 볼록 문제에 대해 $O(T^{2/3}\text{polylog}(T) + T^{1/3}C_T^*)$의 동적 리그레스 한계를 달성하고, 특정 비볼록 문제에 대해서는 $O(T^{2/3}\text{polylog}(T) + T^{2/3}C_T^*)$의 동적 리그레스 한계를 확보하여, 비볼록 안전 분산 설정에서 처음으로 이러한 한계를 확립한다.

ABSTRACT

This paper addresses safe distributed online optimization over an unknown set of linear safety constraints. A network of agents aims at jointly minimizing a global, time-varying function, which is only partially observable to each individual agent. Therefore, agents must engage in local communications to generate a safe sequence of actions competitive with the best minimizer sequence in hindsight, and the gap between the two sequences is quantified via dynamic regret. We propose distributed safe online gradient descent (D-Safe-OGD) with an exploration phase, where all agents estimate the constraint parameters collaboratively to build estimated feasible sets, ensuring the action selection safety during the optimization phase. We prove that for convex functions, D-Safe-OGD achieves a dynamic regret bound of $O(T^{2/3} \sqrt{\log T} + T^{1/3}C_T^*)$, where $C_T^*$ denotes the path-length of the best minimizer sequence. We further prove a dynamic regret bound of $O(T^{2/3} \sqrt{\log T} + T^{2/3}C_T^*)$ for certain non-convex problems, which establishes the first dynamic regret bound for a safe distributed algorithm in the non-convex setting.

연구 동기 및 목표

• 미지의 선형 안전 제약 조건 하에서 분산 온라인 최적화 문제를 다루며, 에이전트들이 시간에 따라 변하는 전역 목적함수를 공동으로 최소화하도록 보장한다.
• 전역 함수와 알려지지 않은 제약 조건에 대한 부분 관측 상황에서도 최적화 중 행동의 안전성을 확보한다.
• 최적화자 시퀀스의 경로 길이 $C_T^*$에 따라 스케일링되는 동적 리그레스 한계를 유도하여 시간에 따라 변화하는 환경에 대한 적응성을 반영한다.
• 안전 제약 조건 하에서 비볼록 문제에 대한 동적 리그레스 분석을 분산 온라인 학습 분야에 확장하여 이전에 다루지 않은 격차를 메운다.

제안 방법

• 알려지지 않은 제약 조건 파라미터를 공동으로 추정하기 위한 전용 탐색 단계를 갖는 분산 온라인 경사 하강법인 D-Safe-OGD를 제안한다.
• 로컬 통신을 통한 공동 추정을 통해 네트워크 기반 에이전트들이 타당 영역을 공동으로 추정함으로써 최적화 중 안전성을 보장한다.
• 레그레스 분석을 위해 브레그만 발산과 온라인 미러 내림 기법을 사용하며, 이중 변수와 투영된 업데이트를 통합한다.
• 두 단계 전략을 도입: 초기 탐색 단계에서 제약 조건을 추정하고, 이후 안전 보장을 갖는 최적화를 수행한다.
• 재매개변수화와 기하학적 가정을 적용하여 볼록 리그레스 분석을 비볼록 설정으로 확장한다.
• 환경의 변동성을 측정하는 경로 길이 $C_T^*$를 사용하여 리그레스 한계를 도출하며, 성능과 시간 안정성 간의 연관성을 연결한다.

실험 결과

연구 질문

• RQ1 분산 온라인 최적화 알고리즘이 알려지지 않은 선형 제약 조건 하에서도 안전성을 유지하면서 하위선형 동적 리그레스를 달성할 수 있는가?
• RQ2 알려지지 않은 안전 제약 조건 하에서 볼록 분산 온라인 최적화의 동적 리그레스 한계는 무엇인가?
• RQ3 안전 제약 조건 하에서 비볼록 문제에 대한 동적 리그레스 분석은 분산 설정으로 확장될 수 있는가?
• RQ4 시간에 따라 변화하는 환경에서 최적 시퀀스의 경로 길이 $C_T^*$는 리그레스 한계에 어떤 영향을 미치는가?
• RQ5 분산 온라인 학습에서 제약 조건 추정을 위한 탐색과 리그레스 최소화 사이의 상충 관계는 무엇인가?

주요 결과

• 볼록 문제의 경우, D-Safe-OGD는 $O(T^{2/3}\text{polylog}(T) + T^{1/3}C_T^*)$의 동적 리그레스 한계를 달성한다. 여기서 $C_T^*$는 최적 시퀀스의 경로 길이다.
• 일부 비볼록 문제에 대해서는 알고리즘이 $O(T^{2/3}\text{polylog}(T) + T^{2/3}C_T^*)$의 동적 리그레스 한계를 확보하며, 이는 안전 분산 비볼록 설정에서 처음으로 도출된 결과이다.
• 리그레스 한계는 시간 $T$에 대해 하위선형으로 증가하므로, 환경 변화가 있음에도 불구하고 시간이 지남에 따라 최적 시퀀스로 수렴함을 나타낸다.
• 탐색 단계는 알려지지 않은 제약 조건 파라미터를 정확하게 추정함으로써 사전 지식 없이도 안전성을 보장한다.
• 비연속적이고 비볼록 목적함수를 다루기 위해 브레그만 발산과 온라인 미러 내림 기법을 활용한 분석을 수행한다.
• 유도된 한계는 $T$와 $C_T^*$에 대해 날카롭게, 볼록 케이스의 알려진 하한과 일치하며 비볼록 및 안전 설정으로 확장된다.