[논문 리뷰] Faster Randomized Interior Point Methods for Tall/Wide Linear Programs

Agniva Chowdhury, Gregory Dexter외 3명|arXiv (Cornell University)|2022. 09. 19.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 랜덤화된 조절 행렬을 사용한 공액 기울기(Conjugate Gradient, CG) 해법기를 활용하여 높고 넓은 선형 계획 문제(tall/wide linear programs)에 대해 더 빠른 랜덤화된 내점법을 제안한다. 이는 반복 복잡도를 증가시키지 않으면서도 타당성과 근사 최적해로의 수렴을 보장한다. 제안된 방법은 내부 반복 수를 한 계급 감소시키면서도, 해법기 오차를 보정하기 위한 새로운 편향 벡터를 통해 이론적 수렴 보장을 유지한다.

ABSTRACT

Linear programming (LP) is an extremely useful tool which has been successfully applied to solve various problems in a wide range of areas, including operations research, engineering, economics, or even more abstract mathematical areas such as combinatorics. It is also used in many machine learning applications, such as $\ell_1$-regularized SVMs, basis pursuit, nonnegative matrix factorization, etc. Interior Point Methods (IPMs) are one of the most popular methods to solve LPs both in theory and in practice. Their underlying complexity is dominated by the cost of solving a system of linear equations at each iteration. In this paper, we consider both feasible and infeasible IPMs for the special case where the number of variables is much larger than the number of constraints. Using tools from Randomized Linear Algebra, we present a preconditioning technique that, when combined with the iterative solvers such as Conjugate Gradient or Chebyshev Iteration, provably guarantees that IPM algorithms (suitably modified to account for the error incurred by the approximate solver), converge to a feasible, approximately optimal solution, without increasing their iteration complexity. Our empirical evaluations verify our theoretical results on both real-world and synthetic data.

연구 동기 및 목표

• 각 반복에서 큰 선형 시스템을 푸는 데 기인한 내점법(IPM)의 계산 병목 현상을 해결하기 위해.
• 기계 학습에서 흔한 변수 수가 제약 조건 수보다 많은 문제들(tall/wide LPs)을 대상으로 확장 가능한 IPM을 설계하기 위해.
• 정확한 IPM과 동일한 반복 복잡도를 유지하면서도, 근사적이고 랜덤화된 선형 시스템 해법기를 사용하기 위해.
• 선형 해법의 근사 오차가 존재하더라도 타당성과 근사 최적해로의 수렴을 보장하기 위해.
• 제안된 조절된 근사 IPM 프레임워크의 이론적 보장과 실증적 검증을 제공하기 위해.

제안 방법

• IPM 반복 과정에서 정규 방정식 행렬을 근사하기 위해 스케칭을 활용한 랜덤화된 조절 행렬을 사용한다.
• 공액 기울기(CG) 또는 체비셰프 반복을 사용하여 조절된 시스템을 풀어 각 반복 비용을 감소시킨다.
• 근사적 선형 해법으로 인한 타당성 위반을 보정하기 위해 편향 벡터 v를 도입하여 수렴을 보장한다.
• 표준 IPM을 수정하여 근사적 해법을 통합하면서도 타당성과 근사 최적해로의 수렴을 유지한다.
• 랜덤화된 선형 대수 도구를 활용하여 조건 수를 제한하고 반복적 해법기의 수렴 속도를 가속화한다.
• 조절된 시스템의 근사 오차와 조건 수를 제어하기 위해 스케칭 차원 w를 사용한다.

실험 결과

연구 질문

• RQ1 랜덤화된 조절 행렬은 외부 반복 수를 늘리지 않고 내부 CG 반복 수를 줄일 수 있는가?
• RQ2 편향 기반 보정 벡터를 갖는 근사 IPM도 여전히 타당성과 근사 최적해로 수렴하는가?
• RQ3 스케칭 차원 w는 조절된 시스템의 조건 수와 수렴 속도에 어떤 영향을 미치는가?
• RQ4 내부 CG 해법기의 허용 오차 수준에 대해 제안된 방법이 얼마나 강인한가?
• RQ5 랜덤화되고 근사적인 선형 시스템 해법기를 사용할 때도 IPM의 이론적 수렴 보장이 유지되는가?

주요 결과

• 제안된 방법은 표준 IPM 대비 내부 CG 반복 수를 한 계급 감소시키며 외부 반복 수에는 영향을 주지 않는다.
• 실증 결과에 따르면 스케칭 차원 w를 증가시키면 내부 반복 수와 조절된 시스템의 조건 수가 모두 크게 감소한다.
• 타당한 점에서 시작할 경우 외부 반복 수가 크게 감소하여 타당성이 수렴 속도를 가속화함을 시사한다.
• 편향 벡터 v는 수렴에 실증적으로 효과적이지만 반드시 필요한 것은 아니며, v 없이도 알고리즘이 여전히 수렴한다.
• 모든 테스트 데이터셋(ARCENE, DEXTER, DrivFace, Gene RNA)에서 상대 오차가 10^-3 이하로 높은 효율성을 달성했다.
• 편향 보정 메커니즘 덕분에 근사적 해법을 사용하더라도 이론적 수렴 보장이 유지된다.