[논문 리뷰] A Universal Primal-Dual Convex Optimization Framework

Alp Yurtsever, Quoc Tran-Dinh외 1명|arXiv (Cornell University)|2015. 02. 10.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 28

한 줄 요약

이 논문은 비선형 최적화 문제에 대한 일반적인 원본-이중 프레임워크를 제안하며, 계산 비용이 높은 프록시멀 연산자를 더 저렴한 펜첼 유형의 연산자로 대체함으로써, 부드러움 매개변수의 사전 지식 없이도 알려지지 않은 헬더 연속성 정도에 대해 최적 수렴 속도를 달성한다. 이 방법은 기울기 및 가속화된 변형을 사용하여 이중 상승 기반의 적응적 선 탐색을 통해 목적 함수 잔여항과 탇합성 간격 모두에서 최적 수렴을 달성한다.

ABSTRACT

We propose a new primal-dual algorithmic framework for a prototypical constrained convex optimization template. The algorithmic instances of our framework are universal since they can automatically adapt to the unknown Holder continuity degree and constant within the dual formulation. They are also guaran- teed to have optimal convergence rates in the objective residual and the feasibility gap for each Holder smoothness degree. In contrast to existing primal-dual algorithms, our framework avoids the proximity operator of the objective function. We instead leverage computationally cheaper, Fenchel-type operators, which are the main workhorses of the generalized conditional gradient (GCG)-type methods. In contrast to the GCG-type methods, our framework does not require the objective function to be differentiable, and can also process additional general linear inclusion constraints, while guarantees the convergence rate on the primal problem

연구 동기 및 목표

• 이중 목적 함수의 알려지지 않은 헬더 연속성 정도에 적응할 수 있는 원본-이중 알고리즘 프레임워크를 개발하는 것.
• 계산 비용이 높은 프록시멀 연산자를 더 저렴한 펜첼 유형의 오라클로 대체하여 대규모 문제에 대한 확장성을 향상시키는 것.
• 모든 헬더 부드러움 수준에서 목적 함수 잔여항과 타당성 간격의 최적 수렴 속도를 유지하는 것.
• 일반적인 선형 포함 제약 조건을 갖는 일반화된 조건부 기울기 유사 방법의 적용 범위를 비부드러운 목표 함수로 확장하는 것.
• 부드러움 매개변수 $M_\nu$ 및 $\nu$ 를 알지 못해도 최적 수렴을 달성할 수 있도록 하는 유니버설 수렴을 가능하게 하는 것.

제안 방법

• 프레임워크는 제약 조건이 있는 비선형 최적화 템플릿 $\min_{\mathbf{x} \in \mathcal{X}} \{ f(\mathbf{x}) : \mathbf{A}\mathbf{x} - \mathbf{b} \in \mathcal{K} \}$ 의 이중 형태에서 작동한다.
• 계산 효율성을 위해 프록시멀 연산자 대신 Fenchel 유형의 오라클 $[\mathbf{x}]^\sharp_{\mathcal{X},g} = \arg\max_{\mathbf{s} \in \mathcal{X}} \{ \langle \mathbf{x}, \mathbf{s} \rangle - g(\mathbf{s}) \}$ 를 사용한다.
• 이중 문제에 대해 기울기 및 가속 기울기 방법을 사용하며, 이중 목표 함수 $g(\boldsymbol{\lambda})$ 에 기반한 상한 $U(\alpha_k)$ 를 이용한 선 탐색을 수행한다.
• 만약 $\mathcal{X}$ 가 노름 구(노름 볼)인 경우, 이중 함수는 $g(\boldsymbol{\lambda}) = \frac{1}{2}\|\boldsymbol{\lambda}\|^2 + \langle \boldsymbol{\lambda}, \mathbf{b} \rangle + \kappa \|\mathcal{A}^T(\boldsymbol{\lambda})\|$ 로 단순화된다.
• 이중 기울기 $\|\nabla g(\hat{\boldsymbol{\lambda}}_k)\|$ 와 $\|\mathcal{A}^T(\nabla g(\hat{\boldsymbol{\lambda}}_k))\|$ 를 포함하는 이차 방정식을 풀어 명시적인 스텝 사이즈 $\alpha_k$ 를 유도한다.
• 이 프레임워크는 유니버설하다: 알려지지 않은 헬더 부드러움 정도 $\nu \in [0,1]$ 에 자동으로 적응하며, $M_\nu$ 를 사전에 알지 못해도 최적 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 부드러움 매개변수의 사전 지식 없이도 모든 헬더 부드러움 수준에서 최적 수렴 속도를 달성할 수 있는 원본-이중 프레임워크가 존재하는가?
• RQ2 펜첼 유형의 오라클이 프록시멀 연산자를 대체하면서도 최적 수렴을 유지하고 비부드러운 목표 함수를 처리할 수 있는가?
• RQ3 일반적인 선형 포함 제약 조건 $\mathbf{A}\mathbf{x} - \mathbf{b} \in \mathcal{K}$ 를 처리하면서도 비부드러운 $f$ 에 대해 수렴성을 보장할 수 있는가?
• RQ4 펜첼 유형의 오라클만을 사용하여 최적 수렴을 달성할 수 있도록 적응적 선 탐색을 어떻게 설계할 수 있는가?
• RQ5 프록시멀 방법의 장점(최적 수렴 속도)과 조건부 기울기 방법의 장점(저비용 반복)을 통합할 수 있는가?

주요 결과

• 제안된 프레임워크는 $f$ 가 비부드러울 경우 목적 함수 잔여항과 타당성 간격 모두에서 $\mathcal{O}(1/\epsilon^2)$ 의 최적 수렴 속도를 달성하며, 이는 프록시멀 연산자를 사용하는 경우와 동일한 속도를 보인다.
• 강력하게 볼록인 $f$ 의 경우, 수렴 속도는 프록시멀 방법과 동일하게 $\mathcal{O}(1/\epsilon)$ 의 이중성 간격을 달성한다.
• 이 프레임워크는 프록시멀 연산자를 완전히 회피하며, 많은 설정에서 프록시멀 연산자보다 계산 비용이 낮은 펜첼 유형의 오라클에 의존한다.
• 이 방법은 유니버설하다: 알려지지 않은 헬더 부드러움 매개변수 $M_\nu$ 와 $\nu$ 에 자동으로 적응하며, 사전 지식 없이도 최적 수렴 속도를 달성한다.
• 명시적인 선 탐색 스텝 사이즈 $\alpha_k$ 는 이중 기울기와 $\mathcal{A}^T(\nabla g)$ 의 연산자 노름을 포함하는 이차 방정식을 풀어 유도된다.
• 노름 구 제약 조건의 특수한 경우에 대해 이중 함수와 그 기울기를 명시적으로 계산할 수 있으며, 이는 파wr 또는 랑츠 방법을 사용한 효율적 구현을 가능하게 한다.