[논문 리뷰] Smart Feasibility Pump: Reinforcement Learning for (Mixed) Integer Programming

Qi Meng, Mengxin Wang외 1명|arXiv (Cornell University)|2021. 02. 18.

Reinforcement Learning in Robotics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 혼합정수계획법(MIP) 문제에 대해 효율적으로 타당해를 찾는 데 목적이 있는 딥강화학습(DRL)을 활용한 스마트 타당해 펌프(SFP)를 제안한다. 고전적인 타당해 펌프를 영감으로 삼아 SFP는 제약행렬의 구조적 패턴을 포착할 수 있는 새로운 컨볼루션 신경망(CNN) 정책을 갖춘 DRL 에이전트를 사용하며, 각 단계에서 투영 계산이 필요로 하지 않아 기존의 FP 및 MLP 기반 SFP보다 수렴 속도가 빠르며, 특히 큰 문제에서 두각을 나타낸다.

ABSTRACT

In this work, we propose a deep reinforcement learning (DRL) model for finding a feasible solution for (mixed) integer programming (MIP) problems. Finding a feasible solution for MIP problems is critical because many successful heuristics rely on a known initial feasible solution. However, it is in general NP-hard. Inspired by the feasibility pump (FP), a well-known heuristic for searching feasible MIP solutions, we develop a smart feasibility pump (SFP) method using DRL. In addition to multi-layer perception (MLP), we propose a novel convolution neural network (CNN) structure for the policy network to capture the hidden information of the constraint matrix of the MIP problem. Numerical experiments on various problem instances show that SFP significantly outperforms the classic FP in terms of the number of steps required to reach the first feasible solution. Moreover, the CNN structure works without the projection of the current solution as the input, which saves the computational effort at each step of the FP algorithms to find projections. This highlights the representational power of the CNN structure.

연구 동기 및 목표

• 일반적인 혼합정수계획법(MIP) 문제에 대해 효율적으로 타당해를 찾는 강화학습 기반 방법을 개발하는 것. MIP 문제들은 NP-난이도이며 상용 솔버로도 해결하기 어려운 경우가 많다.
• 학습 데이터에 사전 계산된 타당해를 기반으로 하는 지도학습의 한계를 극복하기 위해, 학습 과정에서 타당해를 사전에 제공하지 않도록 하는 것.
• 기존의 타당해 펌프(FP) 히ュ리스틱을 개선하여 타당해에 도달하는 데 필요한 단계 수를 줄이는 것.
• 딥러닝, 특히 컨볼루션 신경망(CNN)이 완전히 연결된 신경망(MLP)보다 MIP 제약행렬 내 숨겨진 구조적 정보를 더 잘 포착할 수 있는지 조사하는 것.
• 각 단계에서 투영 계산이 필요로 하지 않는 DRL 에이전트를 설계하여 계산 효율성을 향상시키는 것.

제안 방법

• SFP 프레임워크는 연속적 타당해를 구하고 정수해로 반복적으로 반올림하는 고전적 타당해 펌프(FP) 히ュ리스틱에 기반한다.
• 딥강화학습 에이전트는 각 단계에서 반올림할 변수를 선택하는 정책을 학습하며, MIP 제약행렬과 현재 해에서 유도된 상태 표현을 사용한다.
• 두 가지 정책 네트워크 아키텍처를 평가한다: 다층퍼셉트론(MLP)과 제약행렬을 2차원 입력으로 처리해 구조적 패턴을 추출하는 새로운 컨볼루션 신경망(CNN).
• CNN 기반 정책은 각 시간 단계에서 현재 해의 투영을 계산하지 않아 계산 오버헤드를 감소시킨다.
• DRL 에이전트는 최대 단계 수 내에 타당해에 도달하면 보상을 주는 희소 밀도 보상 기반으로 강화학습을 통해 훈련된다.
• 상태 공간은 제약행렬, 목적함수 계수, 현재 연속적 타당해 해를 포함하며, 행동은 반올림할 변수 선택에 해당한다.

실험 결과

연구 질문

• RQ1 딥강화학습 에이전트가 MIP 문제의 타당해를 찾는 데 있어 고전적 타당해 펌프를 능가할 수 있는가?
• RQ2 컨볼루션 신경망(CNN) 정책이 MIP 문제의 효과적인 반올림 전략을 학습하는 데 다층퍼셉트론(MLP) 정책보다 뛰어난가?
• RQ3 CNN 아키텍처가 제약행렬 내 숨겨진 구조적 정보를 포착하여 계산 비용이 높은 투영 단계에 대한 의존도를 줄일 수 있는가?
• RQ4 SFP 에이전트는 문제의 크기나 구조가 달라져도 문제에 특화된 미세조정 없이 일반화 성능을 유지하는가?
• RQ5 목적함수 정보를 통합함으로써 SFP 프레임워크가 더 우수한 목적함수 값을 갖는 타당해를 찾는 데 확장될 수 있는가?

주요 결과

• SFP-CNN은 고전적 타당해 펌프(FP)보다 타당해에 도달하는 데 필요한 평균 단계 수를 크게 줄였으며, n=9, m=18인 IP 인스턴스에서 평균 11.1단계를 기록한 반면 FP는 90.0단계였다.
• SFP-CNN은 모든 문제 크기에서 SFP-MLP와 고전적 FP를 모두 능가했으며, 가장 큰 IP 인스턴스에서 90번째 백분위수는 29.5단계였고, FP는 100.0단계였다.
• CNN 기반 정책은 특히 큰 문제에서 MLP 기반 정책보다 뛰어난 성능을 보였으며, SFP-CNN은 더 빠르게 수렴하고 평균 단계 수가 더 낮았다.
• SFP-CNN는 각 단계에서 현재 해의 투영을 계산하지 않아도 강력한 성능 유지를 유지했으며, FP 및 SFP-MLP는 이를 필요로 한다.
• 제거 실험(ablation study) 결과, 투영 정보를 제거하면 SFP-MLP 성능이 크게 떨어졌지만, SFP-CNN는 투영 없이도 투영이 있는 SFP-MLP보다 우수한 성능을 보였다.
• CNN 아키텍처는 제약행렬 내 구조적 패턴을 효과적으로 포착하여 MIP 문제에 대해 뛰어난 표현 능력을 보였다.