[논문 리뷰] New Methods for Solving Large Scale Linear Programming Problems in the Windows and Linux computer operating systems

Saeed Ketabchi, Hossein Moosaei외 2명|arXiv (Cornell University)|2012. 09. 19.

Advanced Optimization Algorithms Research참고 문헌 6인용 수 3

한 줄 요약

이 논문은 대규모 선형계획 문제를 해결하기 위한 두 가지 방법을 제안하고 비교한다: MATLAB의 linprog를 통한 LIPSOL(내점법)과 일반화된 뉴턴 반복 및 Armijo 선검색을 결합한 새로운 증강 라그랑주 방법. 주요 발견은 리눅스 운영체제가 윈도우 7보다 대규모 문제를 더 잘 처리하며, 윈도우에서 메모리 부족 오류가 발생하는 메모리 집약적인 인스턴스를 성공적으로 처리함으로써 리눅스가 고성능 최적화 워크로드에 있어 더 뛰어난 효율성과 메모리 관리 능력을 보임을 보여준다.

ABSTRACT

In this study, calculations necessary to solve the large scale linear programming problems in two operating systems, Linux and Windows 7 (Win), are compared using two different methods. Relying on the interior-point methods, linear-programming interior point solvers (LIPSOL) software was used for the first method and relying on an augmented Lagrangian method-based algorithm, the second method used the generalized derivative. The performed calculations for various problems show the produced random in the Linux operating system (OS) and Win OS indicate the efficiency of the performed calculations in the Linux OS in terms of the accuracy and using of the optimum memory.

연구 동기 및 목표

• 표준 윈도우 시스템의 메모리 한계를 초과하는 대규모 선형계획 문제를 해결하는 데 도전하는 것.
• 윈도우와 리눅스에서 두 가지 최적화 방법—LIPSOL(내점법)과 증강 라그랑주 기반 일반화된 뉴턴 방법—의 성능을 평가하고 비교하는 것.
• 운영체제 선택이 대규모 선형계획 문제의 계산 효율성, 메모리 사용량, 해의 정확도에 미치는 영향을 조사하는 것.
• 기존 도구가 윈도우에서 실패할 때, 리눅스에서 자체 알고리즘을 사용해 대규모 선형계획 문제를 해결할 수 있음을 보여주는 것.

제안 방법

• 첫 번째 방법은 표준 형 선형계획 문제를 해결하기 위해 linprog 함수를 통해 접근하는 MATLAB 기반 내점법 솔버인 LIPSOL을 사용한다.
• 두 번째 방법은 이중 문제의 증강 라그랑주 공식화를 사용하여, 함수 $ \Phi(u,\alpha,\bar{x}) = -b^T u + \frac{1}{2\alpha} \| (\bar{x} + \alpha(A^T u - c))_+ \|^2 $ 를 통해 비제약 최소화 문제로 변환한다.
• Φ를 최소화하기 위해 일반화된 뉴턴 방법을 적용하며, 헤시안은 $ \nabla^2\Phi(u,\alpha,\bar{x}) = A D(z) A^T $ 로 근사한다. 여기서 $ D(z) $ 는 활성 제약 조건에 기반한 대각행렬이다.
• 잠재적인 특이성 문제를 다루기 위해 수정된 뉴턴 방향을 사용한다: $ -(\nabla^2\Phi + \delta I_m)^{-1} \nabla\Phi $, 여기서 $ \delta = 10^{-4} $ 이다.
• 전역 수렴을 확보하기 위해 Armijo 규칙 기반 선검색를 사용하여 단계 크기를 후진 탐색하여 충분한 감소 조건을 만족시킨다.
• MATLAB의 희소 랜덤 행렬 생성 기능과 문제에 특화된 벡터 구축을 사용하여 다양한 차원 $ m, n $ 과 밀도 $ d $ 를 가진 희소 선형계획 문제를 무작위로 생성한다.

실험 결과

연구 질문

• RQ1 일반화된 뉴턴 반복과 Armijo 선검색를 결합한 증강 라그랑주 방법이 대규모 선형계획 문제를 해결하는 데 LIPSOL보다 우수한가?
• RQ2 제안된 알고리즘이 윈도우 7의 MATLAB linprog에서 '메모리 부족' 오류를 유발하는 대규모 선형계획 문제를 해결할 수 있는가?
• RQ3 리눅스 운영체제는 대규모 선형계획 문제를 해결하는 데 있어 윈도우 7에 비해 메모리 효율성과 계산 성능 측면에서 어떻게 비교되는가?
• RQ4 운영체제 선택이 내점법과 증강 라그랑주 방법을 사용할 때 대규모 LP 문제의 해결 가능성과 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• 일반화된 뉴턴 반복과 Armijo 선검색를 포함한 증강 라그랑주 방법은 MATLAB의 linprog가 실패하는 대규모 문제를 포함해 모든 테스트된 문제를 성공적으로 해결했다.
• 윈도우 7에서 $ m=10000, n=150000 $ 와 $ m=100, n=10^7 $ 인 문제들에 대해 linprog는 '메모리 부족' 오류로 실패했지만, 제안된 방법은 성공적으로 완료했다.
• 리눅스에서는 제안된 방법이 모든 문제를 해결했으며, 특히 가장 큰 문제($ m=10000, n=150000 $)를 4215.10초 만에 해결했다. 반면 linprog는 동일한 문제에서 실패했다.
• $ m=10000, n=15000 $ 인 문제에 대해 제안된 방법은 리눅스에서 3243.50초가 걸렸고, linprog는 메모리 한계로 인해 실패했다.
• 제안된 방법은 높은 정확도를 달성했다: 타당성 갭 $ \|Ax^*-b\|_\infty \leq 1.12 \times 10^{-8} $, 이중 비타당성 $ \|(A^T u^* - c)_+\|_\infty \leq 3.13 \times 10^{-13} $, 이중성 갭 $ |c^T x^* - b^T u^*| \leq 1.2 \times 10^{-7} $.
• 리눅스는 뛰어난 메모리 관리 능력과 계산 안정성을 보였으며, 동일한 알고리즘을 사용해도 윈도우 7에서 불가능한 문제들을 성공적으로 해결했다.