[논문 리뷰] Adaptive Decentralized Composite Optimization via Three-Operator Splitting

Xiaokai Chen, Ilya Kuruzov외 1명|arXiv (Cornell University)|2026. 02. 19.

Distributed Control Multi-Agent Systems인용 수 0

한 줄 요약

논문은 지역적으로 매끄러운 (강하게) 볼록 손실들의 합과 비매끄러운 볼록 항을 효율적으로 처리할 수 있도록 로컬 백트래킹과 세 연산자 분할 프레임워크를 사용하여 에이전트가 스텝사이즈를 적응적으로 조정하는 분산 최적화 방법을 제안한다.

ABSTRACT

The paper studies decentralized optimization over networks, where agents minimize a sum of {\it locally} smooth (strongly) convex losses and plus a nonsmooth convex extended value term. We propose decentralized methods wherein agents {\it adaptively} adjust their stepsize via local backtracking procedures coupled with lightweight min-consensus protocols. Our design stems from a three-operator splitting factorization applied to an equivalent reformulation of the problem. The reformulation is endowed with a new BCV preconditioning metric (Bertsekas-O'Connor-Vandenberghe), which enables efficient decentralized implementation and local stepsize adjustments. We establish robust convergence guarantees. Under mere convexity, the proposed methods converge with a sublinear rate. Under strong convexity of the sum-function, and assuming the nonsmooth component is partly smooth, we further prove linear convergence. Numerical experiments corroborate the theory and highlight the effectiveness of the proposed adaptive stepsize strategy.

연구 동기 및 목표

• 로컬 매끄러운 볼록 손실과 비매끄러운 볼록 항으로 구성된 합성 목적을 위한 네트워크 상의 분산 최적화를 동기부여합니다.
• 가벼운 최소-컨센서스 프로토콜과 함께 로컬 백트래킹을 통한 적응 스텝사이즈 전략을 개발합니다.
• 동등한 재구성에 대한 세 연산자 분할 인자를 도입하여 분산 구현을 가능하게 합니다.

제안 방법

• 문제의 동등한 재구성에 적용된 세 연산자 분할 인자화 사용.
• 분산 구현을 위한 BCV 전처리 메트릭(Bertsekas-O'Connor-Vandenberghe)을 재구성에 부여하여 효율적으로 분산 구현.
• 로컬 백트래킹 절차를 통해 적응 스텝사이즈 조정을 통합합니다.
• 에이전트 간 정보 교환을 위한 경량화된 최소 컨센서스 프로토콜을 사용합니다.

실험 결과

연구 질문

• RQ1 비매끄항이 포함된 합성 최적화에서 적응 스텝사이즈를 분산화된 방식으로 어떻게 통합할 수 있는가?
• RQ2 세 연산자 분할과 BCV 선처리로 적응 스텝사이즈를 활용한 강건한 분산 수렴을 가능하게 할 수 있는가?
• RQ3 만약 순수 볼록성 및 비매끄한 부분의 부분 매끄성을 가정할 때 어떤 수렴 보장이 성립하는가?

주요 결과

• 제안된 방법은 단순 볼록성만 존재할 때 부분 선형 수렴을 달성한다.
• 합 함수의 강한 볼록성과 비매끄한 부분의 부분 매끄성을 가정하면 선형 수렴이 입증된다.
• 수치 실험이 이론을 뒷받침하고 적응 스텝사이즈 전략의 효과를 입증한다.