[논문 리뷰] Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon

Yoshua Bengio, Andrea Lodi외 1명|arXiv (Cornell University)|2018. 11. 14.

Advanced Database Systems and Queries인용 수 41

한 줄 요약

데이터 분포 관점에서 문제 인스턴스를 다루며 학습 정책을 학습하고 ML을 CO 알고리즘과 통합하여 조합 최적화 문제를 해결하고 개선하는 방법에 대해 기계 학습, 특히 딥 러닝의 활용에 관한 개관.

ABSTRACT

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

연구 동기 및 목표

• 머지 CO 알고리즘에서 의사결정을 자동화하거나 보강하기 위해 기계 학습과 조합 최적화를 통합하려는 동기를 부여한다.
• 최적화 문제를 분포에서 추출된 데이터 포인트로 다루는 데이터 주도 방법론을 제안한다.
• 정책 유도를 위한 두 가지 학습 패러다임(모방 학습과 강화 학습)을 논의한다.
• CO 구조가 사전 정보를 제공하는 방식과 학습이 문제 분포 전반에 걸쳐 일반화될 수 있는 방법을 강조한다.

제안 방법

• 전문가 의사결정을 모방하여 정책을 학습하는 방법과 경험적 강화 학습을 통해 정책을 학습하는 서로 직교하는 두 가지 관점을 설명한다.
• 신경망, 그래프 신경망(GNN), 어텐션 기제와 같은 ML 모델을 사용해 CO 문제와 알고리즘 상태를 표현하고 처리하는 방법을 설명한다.
• 대규모 CO 결정(예: 절단, 가지치기 선택)을 학습된 근사치로 대체하거나 보강하되 CO 구조를 사전 정보로 보존한다.
• 그래프, 부분 문제와 같은 구조화된 데이터 표현과 학습된 가치/정책 네트워크를 사용해 분기 한정(B&B), 절단면, 기타 CO 구성요소를 안내하는 방법을 설명한다.
• 학습할 때 문제 인스턴스의 분포 가정의 중요성과 일반화 문제를 다룬다.

실험 결과

연구 질문

• RQ1 ML 정책을 MILP/B&B 프레임워크 내의 비싼 CO 결정(예: 가지치기, 절단면)을 근사화하거나 대체하도록 학습할 수 있는가?
• RQ2 CO 알고리즘에서 의사결정 정책을 도출하기 위한 효과적인 학습 설정은 무엇인가(모방 vs. 강화)?
• RQ3 정의된 문제 분포를 어떻게 ML 모델 학습에 활용해 학습된 정책이 미지의 인스턴스에 일반화되도록 할 수 있는가?
• RQ4 CO 문제의 구조화된 데이터를 가장 잘 다루는 ML 아키텍처(GNN, 어텐션, 딥 네트) 는 무엇인가?
• RQ5 ML을 CO 파이프라인에 통합할 때 어떤 실질적 도전 과제가 있으며 이를 어떻게 해결할 수 있는가?

주요 결과

• ML은 CO 구조를 사전 정보로 활용하면서 무거운 CO 결정을 근사화하여 해결 속도를 높일 수 있다.
• 두 가지 학습 패러다임이 탐구되었다: 전문가 행동을 복제하는 모방 학습과 새로운 정책을 발견하는 강화 학습.
• 그래프 기반 및 어텐션 기반 신경망은 구조화된 CO 부분 문제를 처리하고 가지치기나 절단면과 같은 의사결정을 안내할 수 있다.
• 학습이 CO 시스템 내에서 이루어질 때 적합한 경우 타당성과 최적성 보장을 유지하면서 실험적 성능을 개선할 수 있다.
• CO 문제를 분포로부터의 데이터 포인트로 다루면 학습이 인스턴스 유형에 맞춘 알고리즘을 조정할 수 있다.