[논문 리뷰] Parallelizing the dual revised simplex method

Q. Huangfu, J. A. J. Hall|arXiv (Cornell University)|2015. 03. 06.

Advanced Optimization Algorithms Research참고 문헌 14인용 수 11

한 줄 요약

이 논문은 표준 데스크톱 아키텍처에서 대규모 희박 선형계획 문제를 위한 두 가지 새로운 병렬 이중 개선 단순형 해법기—PAMI와 SIP—을 제안한다. PAMI는 반복 간에 하위최적화 기반 병렬성을 활용하며, 피벗 품질을 유지하기 위해 0.95 컷오프를 사용하여 평균 1.51배의 속도 향상을 달성하고, 최고의 오픈소스 해법기인 Clp를 능가한다. SIP는 단일 반복 내에서 병렬성을 실현하며, PAMI가 느려질 경우 특히 유용한 보완 기법으로 기능한다. 두 기법이 결합된 결과, 핵심 벤치마크에서 CPLEX의 성능을 재현한다.

ABSTRACT

This paper introduces the design and implementation of two parallel dual simplex solvers for general large scale sparse linear programming problems. One approach, called PAMI, extends a relatively unknown pivoting strategy called suboptimization and exploits parallelism across multiple iterations. The other, called SIP, exploits purely single iteration parallelism by overlapping computational components when possible. Computational results show that the performance of PAMI is superior to that of the leading open-source simplex solver, and that SIP complements PAMI in achieving speedup when PAMI results in slowdown. One of the authors has implemented the techniques underlying PAMI within the FICO Xpress simplex solver and this paper presents computational results demonstrating their value. This performance increase is sufficiently valuable for the achievement to be used as the basis of promotional material by FICO. In developing the first parallel revised simplex solver of general utility and commercial importance, this work represents a significant achievement in computational optimization.

연구 동기 및 목표

• 표준 다중코어 데스크톱 아키텍처에서 대규모 희박 선형계획 문제를 위한 일반 목적의 상용 가능 병렬 이중 개선 단순형 해법기를 개발하는 것.
• 기존에 순차적 성격과 계산 병목 현상으로 인해 병렬화가 어렵다고 여겨져 온 개선 단순형 방법에서 스케일러블 성능 향상을 달성하는 장기적 과제를 해결하는 것.
• 다른 형태의 병렬성을 활용하면서도 수치 안정성과 피벗 품질을 유지하는 두 가지 상호보완적인 병렬화 전략—PAMI와 SIP—을 설계하고 구현하는 것.
• 효율적인 이중 개선 단순형 방법의 병렬화가 실현 가능하며, 실제로 상용 영향력까지 미치는 것을 입증함으로써, FICO Xpress에 통합된 결과 광고 및 홍보 자료에 활용된 바에 기반한다.

제안 방법

• PAMI(다중 반복 간 병렬화)는 하위최적화 피벗 전략을 사용하여 다중 반복 간 병렬성을 가능하게 하며, 피벗 품질을 유지하고 탈진성에 의한 성능 저하를 방지하기 위해 동적 컷오프 요소(0.95)를 적용한다.
• SIP(단일 반복 병렬화)는 희박 행렬-벡터 곱셈(spmv), 분해(ftran), 이중 업데이트 연산 등의 계산 컴포넌트를 겹쳐 수행함으로써 단일 반복 내에서 세밀한 데이터 병렬성을 실현한다.
• 두 해법기는 희박 LU 분해, 초희박 선형 시스템 해법, 효율적인 LU 갱신 기법, 이중 기울기 가장 빠른 모서리(DSE) 및 경계 뒤집기 비율 테스트(BFRT)와 같은 고급 피벗 규칙을 통합한 고성능 순차적 이중 단순형 해법기(hsol)를 기반으로 한다.
• 구현은 전용 고성능 하드웨어에 의존하지 않고 표준 데스크톱 다중코어 아키텍처를 대상으로 하여 광범위한 적용 가능성과 실제 사용 가능성을 확보한다.
• 성능 평가는 대규모 희박 LP 문제로 구성된 다양한 벤치마크 세트를 사용하여 평가되며, Clp(최고의 오픈소스 해법기), CPLEX(업계 표준 상용 해법기), 그리고 기술 통합 후 FICO Xpress 해법기와의 비교를 포함한다.
• 병렬 실행의 오버헤드를 최소화하기 위해 메모리 액세스의 통합과 로드 밸런싱에 중점을 두었으며, 특히 비정규적인 희박 행렬 연산의 맥락에서 유의미하다.

실험 결과

연구 질문

• RQ1 기본적으로 순차적인 성격과 희박 행렬 연산에 의존하는 이중 개선 단순형 방법에서 병렬화를 통해 의미 있는 속도 향상을 달성할 수 있는가?
• RQ2 하위최적화를 피벗 전략으로 사용할 경우, 피벗 품질이나 수렴 속도를 희생시키지 않고도 다중 반복 간 효과적인 병렬성을 실현할 수 있는가?
• RQ3 작업 수준의 겹침을 통한 단일 반복 병렬화(SIP)는 PAMI와 같은 다중 반복 기반 기법과는 별개로 유의미한 보완 기능을 수행할 수 있는가? 특히 PAMI가 오버헤드 또는 속도 저하를 겪는 경우에 유용한가?
• RQ4 연구 수준의 병렬 단순형 구현이 실제 희박 LP 문제에서 성숙한 상용 해법기인 CPLEX의 성능을 얼마나 빠르게 따라잡거나 초월할 수 있는가?
• RQ5 이러한 기술이 상용 해법기(FICO Xpress)에 통합될 경우, 광고 및 벤치마크 자료에 활용된 바에 기반해 실질적이고 상용적으로 의미 있는 성능 향상이 달성되는가?

주요 결과

• PAMI는 테스트 세트에서 평균 1.51배의 속도 향상을 달성하며, 가용 가능한 최고의 오픈소스 단순형 해법기인 Clp를 능가한다. 이는 개선 단순형 방법의 병렬화가 상당한 성능 향상을 이끌 수 있음을 보여준다.
• SIP는 평균 1.15배의 속도 향상을 기록하며 PAMI에 비해 낮지만, PAMI가 느려지는 문제들—예: Linf_520c(1.31배 속도 향상), maros-r7(1.12배 속도 향상)—에서 자주 PAMI를 보완하며 성능 향상을 제공한다.
• PAMI와 SIP 중 더 우수한 성능를 보이는 해법기의 조합은 대부분의 테스트 문제에서 CPLEX 12.4의 성능을 따라하거나 초월하며, 특히 사전처리 및 크래시 기능을 비활성화한 경우에 강력한 경쟁력을 보인다.
• PAMI의 성능는 ftran-dse(이중 기울기 가장 빠른 모서리 분해)가 계산 파이프라인에서 지배적임에 따라 제한된다—이 작업은 총 실행 시간의 80% 이상을 차지하며, 나머지 구성 요소(spmv, chuzc, update-dual)는 총합이 5% 미만에 그친다. 이는 ftran-dse가 주요 병목임을 시사한다.
• PAMI와 SIP 기술이 FICO Xpress 해법기에 통합된 결과, 상용적으로 의미 있는 성능 향상이 달성되었으며, FICO는 광고 및 블로그에서 이 성과를 공식적으로 발표하여 연구의 실제 영향력을 확인했다.
• Mittelmann의 독립 벤치마크 결과, 이러한 기술이 통합된 Xpress 해법기는 사전처리 및 크래시 기능을 켜도 여전히 CPLEX의 순차적 성능을 따라하거나 초월함을 확인하여, 이 기법의 강건성과 확장성을 입증했다.