[논문 리뷰] Efficient First-Order Methods for Linear Programming and Semidefinite Programming

James Renegar|arXiv (Cornell University)|2014. 09. 19.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 15

한 줄 요약

이 논문은 선형 및 준선형 프로그래밍 문제를 전연도수 등차 제약 조건과 전역적으로 정의된 부드러운 목적 함수를 가진 등가 볼록 최적화 문제로 변환하는 새로운 변환을 제시한다. 변환된 문제에 네스테로프의 최적의 일차 방법을 적용함으로써, 부드러운 문제의 경우 O(1/ε) 반복 복잡도와 비부드러운 경우 O(1/ε²)의 반복 복잡도를 달성하며, 상대 오차 측정과 유계 수준 집합을 유일한 가정으로 삼는다. 이는 구조적 문제에 대해 내부점 방법의 확장 가능한 대안을 제공한다.

ABSTRACT

We present a simple transformation of any linear program or semidefinite program into an equivalent convex optimization problem whose only constraints are linear equations. The objective function is defined on the whole space, making virtually all subgradient methods be immediately applicable. We observe, moreover, that the objective function is naturally smoothed, thereby allowing most first-order methods to be applied. We develop complexity bounds in the unsmoothed case for a particular subgradient method, and in the smoothed case for Nesterov's original optimal first-order method for smooth functions. We achieve the desired bounds on the number of iterations, $ O(1/ ε^2) $ and $ O(1/ ε) $, respectively. Perhaps most surprising is that the transformation from a linear program or a semidefinite program is simple and so is the basic theory, and yet the approach has been overlooked until now, a blind spot. Once the transformation is realized, the remaining effort in establishing complexity bounds is mainly straightforward, by making use of various works of Nesterov.

연구 동기 및 목표

• 선형 및 준선형 프로그래밍 문제에 대해 향상된 반복 복잡도를 갖는 효율적인 일차 방법을 개발한다.
• 기존 일차 방법이 강한 구조적 가정이나 절대 오차 측정을 요구하는 한계를 극복한다.
• 유계 타당 영역이 아닌 유계 수준 집합에 의존하여 타당 영역의 유계성을 제거한다.
• 효율적인 하향 기울기 및 네스테로프 유형 방법에 적합한 형태로 문제를 변환함으로써 실용적인 확장성을 확보한다.
• 희소성 제약 조건이 일차 방법의 계산 비용을 감소시키며, 내부점 방법과는 달리 이는 성립한다.

제안 방법

• 모든 선형 또는 준선형 프로그래밍 문제를 전연도수 등차 제약 조건과 전체 공간에서 정의된 부드러운 목적 함수를 가진 등가 문제로 변환한다.
• 가능해의 해를 양의 준정부정 원판의 경계로 매핑하기 위해 최소 고유값 함수 λ_min(X)를 핵심 구성 요소로 사용한다.
• 내부 점을 경계로 매핑하기 위해 투영 Z(X) = I + (1/(1 - λ_min(X)))(X - I)를 적용하여 원래 SDP의 타당성을 보장한다.
• 부드러운 목적 함수에 네스테로프의 최적 일차 방법을 적용하여 O(1/ε) 반복 복잡도를 달성한다.
• 적응형 단계 크기와 애핀 부분공간으로의 투영을 유지하면서 타당성과 수렴성을 확보하기 위해 부드러운 하향 기울기 계획을 구현한다.
• 항상 고정된 내적 ⟨·,·⟩ = ⟨·,·⟩_I를 사용하여 제약 행렬의 항목을 제로로 설정함으로써 효율적인 희소성 인식 투영을 가능하게 한다.

실험 결과

연구 질문

• RQ1 타당 영역이 유계이거나 절대 오차 측정이 필요하지 않은 조건에서 일차 방법을 선형 및 준선형 프로그래밍 문제에 효율적으로 적용할 수 있는가?
• RQ2 LP와 SDP를 전연도수 등차 제약 조건과 전역적으로 부드러운 목적 함수를 가진 등가 문제로 변환할 수 있는가?
• RQ3 목적 함수가 부드럽게 처리된 경우, 변환된 문제에 대해 일차 방법을 사용할 때 달성할 수 있는 반복 복잡도는 무엇인가?
• RQ4 제약 행렬의 희소성이 일차 방법의 계산 비용에 미치는 영향은 내부점 방법과 비교해 어떻게 되는가?
• RQ5 구조적 희소성이 있는 대규모 문제에서 제안된 방법이 반복 횟수 측면에서 내부점 방법을 능가할 수 있는가?

주요 결과

• 부드러운 목적 함수에 네스테로프의 최적 일차 방법을 적용한 변환된 문제에서 상대 오차를 측정함으로써 O(1/ε) 반복 복잡도를 달성한다.
• 비부드러운 경우, 하향 기울기 방법이 O(1/ε²) 반복 복잡도를 달성하며, 이러한 문제에 대해 알려진 경계와 일치한다.
• 이 방법은 타당 영역이 유계일 필요가 없고, 유계 수준 집합만 요구함으로써 일차 최적화에서 일반적인 가정을 완화한다.
• 초기 행렬 U₀의 λ_min(U₀) = 1/6일 경우, 초기화가 더 우수하여 로그 항이 감소하고 반복 경계가 상수 요소만큼 향상된다.
• 희소성 제약 조건은 효율적인 투영을 위해 항목 제로화와 저차원 부분공간으로의 수직 투영을 허용함으로써 일차 방법의 반복 비용을 크게 감소시킨다.
• 이 방법은 초구형 프로그래밍으로 확장 가능하며, 향후 논문에서 준선형 프로그래밍을 초월한 결과를 일반화할 예정이다.