[논문 리뷰] A Framework for Applying Subgradient Methods to Conic Optimization Problems

James Renegar|arXiv (Cornell University)|2015. 03. 09.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 9

한 줄 요약

이 논문은 임의의 볼록 콘형 최적화 문제를 선형 등식 제약 조건과 리프시츠 연속 목적 함수를 가진 등가 문제로 변환하는 새로운 프레임워크를 제안한다. 이는 하향 기울기 방법의 적용을 가능하게 한다. 주요 기여는 목적 함수의 리프시츠 상수에 의존하지 않고, 탇행 집합의 기하적 성질과 특별히 정의된 방향 및 준노름을 사용한 정교한 변환에 기반한 복잡도 경계를 제공한다는 점이다.

ABSTRACT

A framework is presented whereby a general convex conic optimization problem is transformed into an equivalent convex optimization problem whose only constraints are linear equations and whose objective function is Lipschitz continuous. Virtually any subgradient method can be applied to solve the equivalent problem. Two methods are analyzed.

연구 동기 및 목표

• 하향 기울기 방법을 볼록 콘형 최적화 문제에 일반적으로 적용할 수 있는 프레임워크를 개발하는 것.
• 비선형 제약 조건을 제거하기 위해 문제를 선형 등식만을 포함하고 리프시츠 연속 목적 함수를 가진 문제로 재구성하는 것.
• 변환된 문제에 대해 어떤 하향 기울기 방법이라도 적용할 수 있도록 하되, 계산 비용은 주로 하향 기울기 계산과 고정된 부분공간 위로의 투영에 의해 결정된다.
• 두 가지 하향 기울기 방법에 대한 복잡도 결과를 제공한다 — 하나는 최적값을 알고 있는 경우, 다른 하나는 엄격한 탇행 해가 존재하는 경우에만 필요한 방법이다.
• 원래 목적 함수에 대해 리프시츠 상수를 가정하지 않고도 수렴 경계를 도출할 수 있음을 보여주는 것.

제안 방법

• 기존 콘형 문제를 고차원 공간에서 선형 등식 제약 조건만을 가지며 리프시츠 연속 목적 함수를 가진 등가 문제로 변환한다.
• 특정 방향 $ e \in \mathrm{int}(\mathcal{K}) $ 를 도입하여 준노름 $ \|\cdot\|_\infty $ 와 함수 $ \lambda_{\min}(x) $ 를 정의한다. 이 함수는 원소를 콘 $ \mathcal{K} $ 의 경계에 도달하기 위해 $ e $ 방향으로 이동시킬 수 있는 최소 이동량을 나타낸다.
• 함수 $ \lambda_{\min}(x,s,t) $ 를 $ \mathcal{E} \times \mathbb{R} \times \mathbb{R} $ 에서 정의하여 등가 문제의 목적 함수로 사용하며, 이로 인해 리프시츠 연속성 상수가 1 이하가 되도록 보장한다.
• 등가 문제에 하향 기울기 방법을 적용하며, 각 반복에서 하향 기울기 계산과 고정된 부분공간 위로의 투영을 수행한다. 이는 효율적인 사전처리를 가능하게 한다.
• 타당 집합을 콘 $ \mathcal{K} $ 에 매립시키는 콘형 재구성 방법을 사용하며, 수준집합을 통해 문제의 기하적 성질을 정의한다.
• 부분공간 $ \{ (x,s,t) : Ax=0, s=0 \} $ 에 대한 투영 $ \pi $ 를 사용하며, 이는 반복 간에 일정하게 유지되어 계산 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 일반적인 볼록 콘형 최적화 문제를 선형 제약 조건만을 가지며 리프시츠 연속 목적 함수를 가진 등가 문제로 재구성할 수 있는가?
• RQ2 이러한 재구성된 문제에 대해 하향 기울기 방법을 효과적으로 적용할 수 있으며, 복잡도 경계가 원래 목적 함수의 리프시츠 상수에 의존하지 않는가?
• RQ3 반복 간에 투영 부분공간이 고정되어 있을 경우, 하향 기울기 방법의 계산 비용 구조는 어떻게 되는가?
• RQ4 목적 함수가 리프시츠로 가정되지 않지만 그 변환이 리프시츠 연속성을 가지는 경우, 하향 기울기 방법의 수렴성을 어떻게 분석할 수 있는가?
• RQ5 이 프레임워크에서 하위레벨 집합의 지름과 수렴 속도 사이의 관계는 무엇인가?

주요 결과

• 변환된 문제에는 선형 등식 제약 조건만 존재하며, 리프시츠 연속 목적 함수를 가지며 상수는 1 이하이므로 하향 기울기 방법의 적용이 보장된다.
• 일반 하향 기울기 방법의 복잡도 경계는 $ \ell \geq 8D^2 \left( \frac{1}{\epsilon^2} + \frac{1}{\epsilon} \log_{4/3}((D+1)(1-\epsilon)) + 1 \right) $ 이다. 여기서 $ D $ 는 하위레벨 집합의 지름이다.
• 오차 경계 $ \frac{f(x_k') - f^*}{\hat{f} - f^*} \leq \epsilon $ 는 상대적 경계이며, 원래 목적 함수 $ f $ 의 리프시츠 상수에 영향을 받지 않는다.
• 단지 고정된 부분공간 위로의 투영만으로 수렴을 달성하며, 이는 사전처리가 가능하므로 타당 집합에 대한 반복적인 투영이 필요한 기존 하향 기울기 방법보다 계산적으로 효율적이다.
• 원래 목적 함수가 리프시츠가 아니더라도 엄격한 타당 해와 유계 하위레벨 집합이 존재하는 한 이 프레임워크는 강건하다.
• 기존 하향 기울기 방법이 수렴 분석을 위해 필요한 목적 함수의 리프시츠 상수를 사전에 알 필요가 없어지므로 이는 주요 이점이다.