[논문 리뷰] Solving Non-smooth Constrained Programs with Lower Complexity than $\mathcal{O}(1/\varepsilon)$: A Primal-Dual Homotopy Smoothing Approach

Xiaohan Wei, Hao Yu외 2명|arXiv (Cornell University)|2018. 09. 05.

Advanced Optimization Algorithms Research인용 수 7

한 줄 요약

이 논문은 비미분 성질을 가진 원본 및 이중 함수를 갖는 선형 제약 조건이 붙은 볼록 프로그래밍 문제를 위한 원본-이중 호모토피 스무딩 알고리즘을 제안한다. 이중 함수에 대해 매개수 $\beta \in (0,1]$ 를 갖는 局소 오차 바운드 조건을 활용함으로써, 이 방법은 원본 수렴 속도 $\mathcal{O}(\varepsilon^{-2/(2+\beta)}\log_2(\varepsilon^{-1}))$ 를 달성하며, $\beta < 1$ 일 경우 고전적 $\mathcal{O}(1/\varepsilon)$ 복잡도보다 향상된다. 이 접근법은 분산 기하 중앙값 문제에 적용되어 $\beta = 1/2$ 일 때 $\mathcal{O}(\varepsilon^{-4/5}\log_2(\varepsilon^{-1}))$ 수렴 속도를 달성한다.

ABSTRACT

We propose a new primal-dual homotopy smoothing algorithm for a linearly constrained convex program, where neither the primal nor the dual function has to be smooth or strongly convex. The best known iteration complexity solving such a non-smooth problem is $\mathcal{O}(\varepsilon^{-1})$. In this paper, we show that by leveraging a local error bound condition on the dual function, the proposed algorithm can achieve a better primal convergence time of $\mathcal{O}\left(\varepsilon^{-2/(2+β)}\log_2(\varepsilon^{-1}) ight)$, where $β\in(0,1]$ is a local error bound parameter. As an example application of the general algorithm, we show that the distributed geometric median problem, which can be formulated as a constrained convex program, has its dual function non-smooth but satisfying the aforementioned local error bound condition with $β=1/2$, therefore enjoying a convergence time of $\mathcal{O}\left(\varepsilon^{-4/5}\log_2(\varepsilon^{-1}) ight)$. This result improves upon the $\mathcal{O}(\varepsilon^{-1})$ convergence time bound achieved by existing distributed optimization algorithms. Simulation experiments also demonstrate the performance of our proposed algorithm.

연구 동기 및 목표

• 원본 및 이중 함수가 모두 비미분적이거나 강력 볼록이 아닌 비미분, 제약 조건이 있는 볼록 프로그래밍 문제에서 수렴 복잡도의 격차를 해소한다.
• 리프시츠 기울기 또는 강력 볼록성보다 더 약한 가정 하에 $\mathcal{O}(1/\varepsilon)$ 보다 우수한 수렴 복잡도를 달성하는 알고리즘을 개발한다.
• 이중 함수에 대한 국소 오차 바운드 조건을 활용하여 비미분 환경에서 수렴 속도를 가속화하는 이론적 프레임워크를 수립한다.
• 표준 가속화 기법이 비미분성으로 인해 실패할 수 있는 상황에서도 낮은 반복 복잡도를 유지하는 확장 가능한 원본-이중 방법을 제공한다.
• 실제 응용 사례인 분산 기하 중앙값 문제에 대해 이 방법을 검증하여 실질적으로 향상된 수렴 성능을 입증한다.

제안 방법

• 이 알고리즘은 비미분 이중 함수를 근사하기 위해 스무딩 매개수를 점진적으로 조정하는 호모토피 스무딩 기법을 사용한다. 이를 통해 기울기 기반 업데이트가 가능해진다.
• 스무딩 매개수 $\mu$ 를 도입함으로써, 비미분 이중 문제를 효율적으로 해결할 수 있는 일련의 스무딩 보조 문제로 변환한다.
• 단계별로 적응형 시간 영역 전략을 사용하며, $T^{(k)} = \frac{D}{\varepsilon^{0.8}} \cdot \frac{k}{K}$ 로 정의되며, 여기서 $K = \lceil \log_2(1/\varepsilon) \rceil + 1$ 이다. 이는 초기 반복 단계에서 수렴 속도를 가속화한다.
• 이중 함수에 대한 국소 오차 바운드 조건을 사용하여 매개수 $\beta$ 에 따라 의존하는 수렴 속도를 유도한다. 조건은 $\|\mathbf{A}^T\lambda - \nu^*\| \leq C_0 (F(\lambda) - F^*)^{1/2}$ 로 표현된다.
• 증강 라그랑지안을 최소화하고, 하위기울기 단계를 통해 이중 변수를 갱신하는 원본-이중 업데이트 체계를 사용한다.
• 원본 이중 함수 $F(\lambda)$ 와 보조 함수 $G(\nu)$ 사이의 등가성을 활용하여, $G(\nu)$ 에서 유도된 국소 오차 바운드를 $F(\lambda)$ 로 이전함으로써 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 비미분, 선형 제약 조건이 있는 볼록 프로그래밍 문제에서 원본-이중 알고리즘이 $\mathcal{O}(1/\varepsilon)$ 보다 낮은 수렴 복잡도를 달성할 수 있는가?
• RQ2 이중 함수에 대한 국소 오차 바운드 매개수 $\beta$ 는 원본-이중 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 호모토피 스무딩 접근법은 원본 및 이중 함수가 모두 비미분일 경우에도 낮은 복잡도를 유지하는가?
• RQ4 이 방법은 기하 중앙값 계산과 같은 실세계 문제에 적용 가능하며, 기존 알고리즘보다 증명 가능한 성능 향상을 이끌 수 있는가?
• RQ5 수렴 속도 $\mathcal{O}(\varepsilon^{-2/(2+\beta)}\log_2(\varepsilon^{-1}))$ 는 문제 차원과 네트워크 연결성의 변화에 대해 안정적인가?

주요 결과

• 국소 오차 바운드 조건과 매개수 $\beta \in (0,1]$ 를 갖는 조건 하에서 제안된 알고리즘은 원본 수렴 속도 $\mathcal{O}(\varepsilon^{-2/(2+\beta)}\log_2(\varepsilon^{-1}))$ 를 달성하며, 기존의 $\mathcal{O}(1/\varepsilon)$ 복잡도보다 향상된다.
• 분산 기하 중앙값 문제에서 이중 함수는 $\beta = 1/2$ 를 갖는 국소 오차 바운드를 만족하며, 이에 따라 수렴 속도는 $\mathcal{O}(\varepsilon^{-4/5}\log_2(\varepsilon^{-1}))$ 가 된다.
• 차원 $d=20$ 에서 $d=300$ 까지, 연결 비율 $0.05$ 에서 $0.3$ 까지 다양하게 변화하는 네트워크에서의 시뮬레이션 결과, 기준 알고리즘인 DSM, EXTRA, 그리고 재조합 ADMM 대비 일관된 성능 향상을 보였다.
• 적응형 시간 영역 전략 덕분에 초기 단계에서 수렴 속도가 크게 향상되며, 이는 라운드 수에 따라 $T^{(k)}$ 가 점진적으로 증가하기 때문이다.
• 실험 결과는 이론적 수렴 속도가 실질적으로 달성 가능하며, 특히 중간 이상의 네트워크 연결성 조건에서 뚜렷한 성능 향상을 보임을 확인한다.
• 문제 차원과 네트워크 희박성에 대한 저항성과 함께 수렴 속도 면에서 기존의 분산 알고리즘을 모두 능가한다.