[논문 리뷰] Learning to Branch

Maria-Florina Balcan, Travis Dick외 2명|arXiv (Cornell University)|2018. 03. 27.

Machine Learning and Algorithms참고 문헌 36인용 수 17

한 줄 요약

이 논문은 브랜치 앤 바운드와 같은 트리 탐색 알고리즘에서 분할 절차(예: 변수 선택)의 최적 가중치를 자동으로 학습하는 기계학습 접근법을 제안한다. 표본 복잡도 보장을 통해 샘플된 인스턴스에서의 경험적 성능가 참값 분포에서의 기대 성능과 밀접하게 일치하도록 보장하며, 이로 인해 트리 크기가 지수적으로 감소하고 이론적 엄밀성과 실용적 효과를 동시에 입증한다.

ABSTRACT

Tree search algorithms, such as branch-and-bound, are the most widely used tools for solving combinatorial and nonconvex problems. For example, they are the foremost method for solving (mixed) integer programs and constraint satisfaction problems. Tree search algorithms recursively partition the search space to find an optimal solution. In order to keep the tree size small, it is crucial to carefully decide, when expanding a tree node, which question (typically variable) to branch on at that node in order to partition the remaining space. Numerous partitioning techniques (e.g., variable selection) have been proposed, but there is no theory describing which technique is optimal. We show how to use machine learning to determine an optimal weighting of any set of partitioning procedures for the instance distribution at hand using samples from the distribution. We provide the first sample complexity guarantees for tree search algorithm configuration. These guarantees bound the number of samples sufficient to ensure that the empirical performance of an algorithm over the samples nearly matches its expected performance on the unknown instance distribution. This thorough theoretical investigation naturally gives rise to our learning algorithm. Via experiments, we show that learning an optimal weighting of partitioning procedures can dramatically reduce tree size, and we prove that this reduction can even be exponential. Through theory and experiments, we show that learning to branch is both practical and hugely beneficial.

연구 동기 및 목표

• 트리 탐색 알고리즘에 대한 최적의 분할 기법(예: 변수 선택)을 선택하는 데 있어 이론적 지침의 부족 문제를 해결하기 위해.
• 인스턴스 분포 샘플을 기반으로 기존 분할 절차의 최적 가중치를 학습하는 방법을 개발하기 위해.
• 트리 탐색 알고리즘 설정에 대해 처음으로 표본 복잡도 보장을 제공하여 경험적 성능가 unseen 인스턴스로의 일반화가 보장되도록 하기 위해.
• 브랜치 학습이 트리 크기의 상당한 감소, 특히 지수적 향상까지 이끌 수 있음을 입증하기 위해.

제안 방법

• 모델은 인스턴스 특성과 이력 성능를 기반으로 각 노드에서 최적의 분할 절차(예: 분할할 변수)를 예측하는 데 목적을 두고 지도 학습을 사용한다.
• 구성 문제를 기존 분할 휴리스틱의 가중 조합으로 설정하고, 샘플된 인스턴스에서 경험적 리스크 최소화를 통해 최적의 가중치를 학습한다.
• 이론적 분석을 통해 표본 복잡도 한계를 확립하여, 유한한 표본 분포에서의 경험적 성능가 참값 분포에서의 기대 성능과 가까워지도록 보장한다.
• 이 프레임워크는 기존의 분할 절차 집합에 대해 일반적으로 적용 가능하며, 정수계획법 및 제약만족 문제에서 사용되는 절차에도 적용 가능하도록 설계되었다.
• 실제 문제 인스턴스를 대상으로 실험을 수행하여 학습된 가중치를 표준 휴리스틱 및 기준 설정과 비교한다.

실험 결과

연구 질문

• RQ1 참값 분포에서의 기대 성능에 가까운 경험적 성능을 확보하기 위해 필요한 최소한의 샘플된 인스턴스 수는 얼마인가?
• RQ2 기계학습이 트리 탐색에서 다수의 분할 휴리스틱을 조합하는 데 최적의 가중치를 효과적으로 학습할 수 있는가?
• RQ3 브랜치 학습이 표준 브랜치 전략 대비 측정 가능한 상당한 트리 크기 감소를 이끌 수 있는가?
• RQ4 일부 조건 하에서 제안된 방법이 트리 크기를 지수적으로 감소시킬 수 있는가?

주요 결과

• 제안된 방법은 일부 문제 인스턴스에서 표준 브랜치 휴리스틱 대비 트리 크기를 지수적으로 감소시킨다.
• 표본 복잡도 보장은 참값 분포에서의 기대 성능를 신뢰성 있게 추정하기 위해 유한한 수의 샘플된 인스턴스가 충분함을 보장한다.
• 분할 절차에 대한 최적의 가중치 학습은 경험적 평가를 통해 트리 탐색 효율성의 극적인 향상을 이끌어낸다.
• 이 프레임워크는 이론적으로 타당하며 실용적으로 효과적이며, 다양한 조합 최적화 문제에서 뛰어난 성능을 보여준다.