[논문 리뷰] FRaGenLP: A Generator of Random Linear Programming Problems for Cluster Computing Systems

Leonid B. Sokolinsky, Irina M. Sokolinskaya|arXiv (Cornell University)|2021. 05. 18.

Graph Theory and Algorithms참고 문헌 31인용 수 9

한 줄 요약

FRaGenLP는 클러스터 시스템에서 대규모로 실행 가능한 유계 선형계획문제(LP)를 병렬적으로 생성하기 위한 알고리즘이다. 지원 부등식을 사용하여 유계성과 타당성을 확보하고, 중복을 방지하기 위해 기하학적 및 유사도 제약 조건을 갖춘 랜덤 제약 조건을 생성하며, MPI를 통한 BSF-스켈레톤 병렬화를 적용한다. 이 방법은 높은 확장성을 확보하여, n=15,000인 31,501개의 제약 조건을 가진 문제의 생성 시간을 단일 노드일 때 12분에서 170개 노드일 때 22초로 단축시켰다.

ABSTRACT

The article presents and evaluates a scalable FRaGenLP algorithm for generating random linear programming problems of large dimension $n$ on cluster computing systems. To ensure the consistency of the problem and the boundedness of the feasible region, the constraint system includes $2n+1$ standard inequalities, called support inequalities. New random inequalities are generated and added to the system in a manner that ensures the consistency of the constraints. Furthermore, the algorithm uses two likeness metrics to prevent the addition of a new random inequality that is similar to one already present in the constraint system. The algorithm also rejects random inequalities that cannot affect the solution of the linear programming problem bounded by the support inequalities. The parallel implementation of the FRaGenLP algorithm is performed in C++ through the parallel BSF-skeleton, which encapsulates all aspects related to the MPI-based parallelization of the program. We provide the results of large-scale computational experiments on a cluster computing system to study the scalability of the FRaGenLP algorithm.

연구 동기 및 목표

• 고성능 해법기 테스트에 적합한 대규모, 타당성 있는, 유계 선형계획문제를 위한 확장 가능하고 병렬적인 생성기를 개발하는 것.
• 최적 해를 사전에 정의하지 않고도 생성된 LP 문제의 유계성과 타당성을 보장하면서도 무작위성을 유지하는 것.
• 기하학적 및 유사도 지표를 통해 제약 조건 간의 유사성을 방지하여 문제의 다양성을 향상시키는 것.
• MPI를 활용한 BSF-스켈레톤 모델을 통해 클러스터 시스템에서 효율적인 병렬화를 구현하는 것.
• AI 기반 LP 해법기 개발을 지원하기 위해 대규모이고 다양한 훈련 데이터셋을 생성하는 것.

제안 방법

• 유계 타당 영역을 형성하기 위해 2n+1개의 표준 지원 부등식을 사용하며, 이는 잘린 초입방체 형태를 띤다.
• 계수와 상수항이 유계 구간에서 추출된 의사난수 생성을 통해 랜덤 부등식을 생성한다.
• 각 신규 부등식은 네 가지 조건을 통해 검증된다: 중심점의 타당성, 중심점으로부터의 거리 범위 내 존재, 중심점 목적 함수 값 향상, 기존 제약 조건과의 유사도가 아님.
• 유사도 지표 두 가지인 평행성과 가까움을 사용하여 기존 제약 조건과 너무 유사한 초평면을 기각함으로써 다양성을 확보한다.
• 병렬 구현은 마스터-슬레이브 아키텍처를 갖는 BSF-스켈레톤 모델을 사용하며, 슬레이브는 제약 조건을 생성하고 마스터는 MPI를 통해 검증 및 집계를 수행한다.
• 알고리즘은 C++로 구현되었으며 재현성과 재사용을 위해 오픈소스로 공개되었다.

실험 결과

연구 질문

• RQ1 해법의 편향을 피하면서도 대규모, 타당성 있는, 유계 선형계획문제를 위한 확장 가능한 병렬 생성기를 어떻게 설계할 수 있는가?
• RQ2 최적 해를 사전에 고정하지 않고도 유계성과 타당성을 보장하기 위해 어떤 기하학적 및 구조적 제약 조건이 필요한가?
• RQ3 제약 조건 간의 유사성을 어떻게 공식적으로 측정하여 중복을 방지하고 문제의 다양성을 향상시킬 수 있는가?
• RQ4 클러스터 시스템에서 문제 차원이 증가함에 따라 FRaGenLP 알고리즘의 확장성은 어떻게 되는가?
• RQ5 이 생성기는 AI 기반 LP 해법기 훈련을 위한 대규모이고 다양한 데이터셋을 생성할 수 있는가?

주요 결과

• FRaGenLP 알고리즘은 최적 해가 알려지지 않은 대규모, 타당성 있는, 유계 선형계획문제를 성공적으로 생성하여 고성능 해법기 테스트에 적합하다.
• n=15,000, 제약 조건 수 31,501인 경우, 생성 시간이 단일 노드일 때 12분에서 171개 노드로 증가시켜 22초로 단축되어 강력한 병렬 효율성을 입증했다.
• 문제 크기가 증가함에 따라 확장성 한계도 증가했다: n=3,000일 때 약 50개 노드, n=5,500일 때 110개, n=15,000일 때 200개.
• 랜덤 제약 조건 수를 10배로 늘리면 마스터 노드의 순차적 처리 부담이 증가하여 확장성 한계가 반으로 감소했다.
• 70,000개의 샘플로 구성된 데이터셋을 생성하여 신경망을 훈련시켜 빠른 LP 해법을 구현한 인공지능 모델을 개발했다.
• 지원 부등식과 유사도 지표의 사용은 생성된 문제의 유계성, 타당성, 다양성을 보장한다.