[논문 리뷰] Faster Parallel Solver for Positive Linear Programs via Dynamically-Bucketed Selective Coordinate Descent

Di Wang, Michael W. Mahoney외 2명|arXiv (Cornell University)|2015. 11. 20.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 동적 버킷화된 선택적 좌표 강하(이하 DB-SCD)를 사용하여 양의 선형계획문제를 해결하는 새로운 병렬 알고리즘을 제안한다. 이 방법은 패킹 및 커버링 LP 모두에 대해 수렴 시간을 Õ(1/ε²)으로 향상시킨다. 유사한 기울기 크기를 가진 좌표를 그룹화하고 이를 선택적으로 갱신함으로써 간섭을 줄이고, 이전 방법의 Õ(1/ε³)에 비해 더 빠르고 안정적인 수렴을 가능하게 한다.

ABSTRACT

We provide improved parallel approximation algorithms for the important class of packing and covering linear programs. In particular, we present new parallel $ε$-approximate packing and covering solvers which run in $ ilde{O}(1/ε^2)$ expected time, i.e., in expectation they take $ ilde{O}(1/ε^2)$ iterations and they do $ ilde{O}(N/ε^2)$ total work, where $N$ is the size of the constraint matrix and $ε$ is the error parameter, and where the $ ilde{O}$ hides logarithmic factors. To achieve our improvement, we introduce an algorithmic technique of broader interest: dynamically-bucketed selective coordinate descent (DB-SCD). At each step of the iterative optimization algorithm, the DB-SCD method dynamically buckets the coordinates of the gradient into those of roughly equal magnitude, and it updates all the coordinates in one of the buckets. This dynamically-bucketed updating permits us to take steps along several coordinates with similar-sized gradients, thereby permitting more appropriate step sizes at each step of the algorithm. In particular, this technique allows us to use in a straightforward manner the recent analysis from the breakthrough results of Allen-Zhu and Orecchia [2] to achieve our still-further improved bounds. More generally, this method addresses "interference" among coordinates, by which we mean the impact of the update of one coordinate on the gradients of other coordinates. Such interference is a core issue in parallelizing optimization routines that rely on smoothness properties. Since our DB-SCD method reduces interference via updating a selective subset of variables at each iteration, we expect it may also have more general applicability in optimization.

연구 동기 및 목표

• 양의 선형계획문제, 특히 패킹 및 커버링 LP에 대해 더 빠른 병렬 근사 알고리즘을 개발하는 것.
• 총 작업량과 반복 횟수 모두에서 오차 매개변수 ε에 대한 의존도를 이전의 Õ(1/ε³)에서 Õ(1/ε²)로 줄이는 것.
• 비미분 가능 문제의 병렬 최적화에서 좌표 간 간섭을 줄이기 위해 기울기 크기가 유사한 변수 그룹을 선택적으로 갱신하는 방법을 고려하는 것.
• 동적 기울기 버킷화와 1차 최적화 기법을 활용하여 대규모 LP 문제에 대해 효율적이고 확장 가능한 해법을 제공하는 것.

제안 방법

• 각 반복에서 기울기 크기에 따라 좌표를 버킷으로 분할하는 동적 버킷화 선택적 좌표 강하(DB-SCD)를 제안한다.
• 각 반복에서 한 개의 버킷 내 모든 좌표를 선택적으로 갱신함으로써 간섭을 줄이고 더 큰, 더 제어 가능한 스텝을 허용한다.
• 비미분 가능 LP를 1차 최적화 방법에 적합한 부드러운 볼록 최적화 문제로 변환하기 위해 스무딩 기법을 사용한다.
• Allen-Zhu와 Orecchia(2015)의 최근 이론적 성과를 활용하여 DB-SCD 프레임워크 하에서 더 날카로운 수렴 한계를 확보한다.
• 최적화 후 타당성과 근사 보장을 확보하기 위해 랜덤화된 반올림 및 보정 단계를 적용한다.
• 이중 단계 접근법을 통합한다: 첫 번째로 DB-SCD를 사용해 스무oothing된 이중 문제를 최적화하고, 두 번째로 제약 조건이 타당하지 않은 경우 비용이 제한된 후처리 단계를 통해 보정한다.

실험 결과

연구 질문

• RQ1 병렬 패킹 및 커버링 LP에 대해 이전의 Õ(1/ε³) 기준을 향상시켜 Õ(1/ε²) 수렴 시간을 달성할 수 있는가?
• RQ2 비미분 가능 문제의 1차 최적화에서 병렬 갱신 중 좌표 간 간섭을 어떻게 줄일 수 있는가?
• RQ3 기울기 크기의 동적 버킷화가 대규모 최적화에서 더 효과적이고 안정적인 좌표 갱신을 가능하게 하는가?
• RQ4 DB-SCD 방법은 양의 LP를 넘어선 부드러운, 비미분 가능한, 또는 구조화된 최적화 문제의 다른 클래스로 일반화 가능한가?
• RQ5 DB-SCD 최적화 후 타당하지 않은 제약 조건을 보정하는 데 예상 비용은 얼마이며, 이를 기대값으로 유한하게 제한할 수 있는가?

주요 결과

• 제안된 DB-SCD 알고리즘은 패킹 및 커버링 LP 모두에 대해 Õ(1/ε²) 기대 시간 복잡도를 달성하며, 이는 이전의 Õ(1/ε³) 기준을 향상시킨다.
• 알고리즘은 총 작업량으로서 Õ(N/ε²)을 수행하며, 여기서 N은 제약 행렬의 크기이며, 기대 반복 횟수는 Õ(1/ε²)이다.
• 출력 해의 기대 목표값은 커버링 LP의 경우 최대 (1+6ε)OPT이며, 패킹 LP의 경우 최소 (1−ε)OPT이므로 강력한 근사 보장을 보장한다.
• DB-SCD 최적화 후 보정 단계는 기대값으로 최대 ε·OPT의 목표값 증가를 유발하며, 근사 품질을 유지한다.
• 유사한 기울기 크기를 가진 좌표만 갱신함으로써 좌표 간 간섭을 줄여 더 안정적이고 효율적인 수렴을 이룬다.
• 이론적 분석은 DB-SCD가 이전에는 표준 좌표 강하에서 가능하지 않았던 Allen-Zhu와 Orecchia의 최신 1차 최적화 한계를 활용할 수 있음을 확인한다.