[논문 리뷰] Sample Complexity of Tree Search Configuration: Cutting Planes and Beyond

Maria-Florina Balcan, Siddharth Prasad외 2명|arXiv (Cornell University)|2021. 12. 06.

Constraint Satisfaction and Optimization인용 수 1

한 줄 요약

이 논문은 정수계획법 트리 탐색에서 효과적인 컷 선택 정책을 학습하기 위한 최초의 샘플 복잡도 한계를 확립하며, Chvátal-Gomory 컷과 고도화된 점수 기반 정책을 포함한다. 또한 트리 탐색의 광범위한 추상화로 일반화하여, 노드 및 변수 선택 정책에 대한 샘플 효율적인 학습 보장을 입증한다.

ABSTRACT

Cutting-plane methods have enabled remarkable successes in integer programming over the last few decades. State-of-the-art solvers integrate a myriad of cutting-plane techniques to speed up the underlying tree-search algorithm used to find optimal solutions. In this paper we prove the first guarantees for learning high-performing cut-selection policies tailored to the instance distribution at hand using samples. We first bound the sample complexity of learning cutting planes from the canonical family of Chvatal-Gomory cuts. Our bounds handle any number of waves of any number of cuts and are fine tuned to the magnitudes of the constraint coefficients. Next, we prove sample complexity bounds for more sophisticated cut selection policies that use a combination of scoring rules to choose from a family of cuts. Finally, beyond the realm of cutting planes for integer programming, we develop a general abstraction of tree search that captures key components such as node selection and variable selection. For this abstraction, we bound the sample complexity of learning a good policy for building the search tree.

연구 동기 및 목표

• 정수계획법 솔버에서 컷 선택 정책 학습에 이론적 보장이 부족한 문제를 해결한다.
• 다수의 웨이브와 컷 수를 고려하여 Chvátal-Gomory 컷을 사용한 인스턴스 분포에서의 학습을 위한 샘플 복잡도 한계를 제공한다.
• 다양한 점수 기반 규칙을 조합하는 복합 컷 선택 정책에 대한 이론적 분석을 확장한다.
• 절단 평면을 초월해 노드 선택 및 변수 선택과 같은 트리 탐색의 추상적 구성 요소로의 프레임워크 일반화를 시도한다.
• 트리 탐색 알고리즘에서 샘플 효율적인 정책 학습을 위한 통합된 이론적 기반을 수립한다.

제안 방법

• 제약 계수의 크기를 고려하여 Chvátal-Gomory 컷의 표준 가족에서 정책 학습을 위한 샘플 복잡도 한계를 유도한다.
• 정수계획법 인스턴스의 분포 위에서 컷 선택을 감독 학습 문제로 모델링한다.
• 다양한 점수 기반 규칙을 통합하는 계층적 정책 학습 프레임워크를 도입한다.
• 노드 선택, 변수 선택, 컷 생성을 상호의존적인 구성 요소로 포괄하는 트리 탐색의 일반화된 추상화를 정의한다.
• 통계적 학습 이론의 일반화 한계를 적용하여 이 추상화 하에서 샘플 복잡도 보장을 도출한다.
• 희소성과 제약 계수의 크기에 따라 한계를 조정하여 실용적 관련성을 향상시킨다.

실험 결과

연구 질문

• RQ1 Chvátal-Gomory 컷을 위한 고성능 컷 선택 정책을 학습하기 위해 필요한 최소 샘플 수는 얼마인가?
• RQ2 트리 탐색 환경에서 웨이브 수와 웨이브당 컷 수가 증가할수록 샘플 복잡도는 어떻게 변화하는가?
• RQ3 다양한 점수 기반 규칙을 기반으로 하는 복합 컷 선택 정책은 증명 가능한 샘플 효율성으로 학습될 수 있는가?
• RQ4 커트 선택에 대한 이론적 프레임워크는 트리 탐색의 다른 구성 요소로 얼마나 넓게 확장될 수 있는가?
• RQ5 일반화된 트리 탐색 추상화에서 최적의 노드 및 변수 선택 정책을 학습하기 위한 샘플 복잡도 한계는 무엇인가?

주요 결과

• 논문은 제약 계수의 크기에 민감한 Chvátal-Gomory 컷 선택 정책을 위한 최초의 샘플 복잡도 한계를 확립한다.
• 샘플 복잡도는 컷 수와 웨이브 수에 대해 상대적으로 로그적으로 증가하므로, 현실적인 조건에서의 확장성과 잘 맞는다.
• 다양한 점수 함수 가족의 복잡도에 따라 의존하는 샘플 복잡도를 갖는 복합 컷 선택 정책은 샘플 효율적으로 학습될 수 있다.
• 이론적 프레임워크는 절단 평면을 초월해 노드 선택 및 변수 선택까지 일반화되어 통합된 샘플 복잡도 분석이 가능해진다.
• 제약 조건의 희소성과 계수 크기와 같은 인스턴스 고유의 특징에 따라 한계를 정밀 조정하여 실용적 적용성을 높였다.
• 결과는 정수계획법 솔버에서 데이터 기반 최적화를 위한 이론적 기반을 제공하며, 컷 선택에 머신러닝을 활용하는 데에 대한 정당성을 제시한다.