[논문 리뷰] Mixed-Integer Convex Nonlinear Optimization with Gradient-Boosted Trees Embedded

Miten Mistry, Dimitrios Letsios외 3명|arXiv (Cornell University)|2018. 03. 02.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 기울기 부스팅 트리(GBTs)와 볼록 페널티 함수를 통합한 대규모 혼합정수볼록비선형 최적화 문제를 위한 브랜치 앤 바운드 알고리즘을 제안한다. GBT의 조합 구조와 페널티의 볼록성에 기반하여 전역 최적성 또는 날카로운 최적성 갭을 달성하며, 콘크리트 혼합 설계 및 화학 촉매 반응 사례에서 상업적 솔버보다 뛰어난 하한값을 확보함으로써 검증되었다.

ABSTRACT

Decision trees usefully represent sparse, high dimensional and noisy data. Having learned a function from this data, we may want to thereafter integrate the function into a larger decision-making problem, e.g., for picking the best chemical process catalyst. We study a large-scale, industrially-relevant mixed-integer nonlinear nonconvex optimization problem involving both gradient-boosted trees and penalty functions mitigating risk. This mixed-integer optimization problem with convex penalty terms broadly applies to optimizing pre-trained regression tree models. Decision makers may wish to optimize discrete models to repurpose legacy predictive models, or they may wish to optimize a discrete model that particularly well-represents a data set. We develop several heuristic methods to find feasible solutions, and an exact, branch-and-bound algorithm leveraging structural properties of the gradient-boosted trees and penalty functions. We computationally test our methods on concrete mixture design instance and a chemical catalysis industrial instance.

연구 동기 및 목표

• 대규모 혼합정수비선형계획 문제 내에 사전 훈련된 기울기 부스팅 트리 모델을 최적화하는 데 도전하는 것.
• 예측 성능이 열악한 영역에서의 위험을 줄이기 위해 볼록 페널티 함수를 통합하는 것.
• 산업 적용을 위한 전역 최적 또는 근사 최적 해를 찾기 위한 정확한 및 휴리스틱 방법 개발.
• GBT의 구조적 특성과 볼록 페널티의 특성을 활용하여 브랜치 앤 바운드의 효율성을 향상시키는 것.
• 기존 예측 모델을 이산적이고 비연속적인 제약 조건 하에서 의사결정에 재사용할 수 있도록 하는 것.

제안 방법

• GBT 함수와 볼록 페널티 항을 포함한 혼합정수볼록비선형계획 문제(MINLP)로 최적화 문제를 수식화하는 것.
• GBT의 조합 구조와 페널티 함수의 볼록성에 기반한 전문화된 브랜치 앤 바운드 알고리즘 설계.
• GBT 구성 요소의 하한값을 향상시키는 데 중점을 두어 변수 선택을 우선순위화하는 데 lookahead 전략을 사용한 가짜비용 브랜치 기법 구현.
• 다양한 lookahead 크기(l = 1, 100)를 사용한 강력한 브랜치 기법을 통해 경계를 동적으로 정밀화하고 갭 수축을 가속화하는 것.
• GBT 모델의 MILP 수식을 적용하여 상업적 솔버와의 통합 및 정확한 전역 최적화를 가능하게 하는 것.
• 훈련 데이터 분포에서 멀리 떨어진 해를 페널티 처리하기 위해 주성분분석(based proximity measures)을 활용한 볼록 페널티 함수 정의.

실험 결과

연구 질문

• RQ1 기울기 부스팅 트리(GBTs)는 어떻게 볼록 페널티 함수가 포함된 혼합정수비선형계획 문제에 효율적으로 통합될 수 있는가?
• RQ2 GBT의 어떤 구조적 특성을 활용하여 더 빠르고 효과적인 브랜치 앤 바운드 알고리즘을 설계할 수 있는가?
• RQ3 볼록 페널티 함수의 통합은 훈련 데이터가 희박한 영역에서 해의 신뢰성 향상과 위험 감소에 어떻게 기여하는가?
• RQ4 lookahead 기반 강력한 브랜치 기법은 GBT 통합 문제에서 하한값 향상과 최적성 갭 수축에 얼마나 기여하는가?
• RQ5 제안된 방법은 Gurobi 7.5.2와 같은 상업적 솔버보다 대규모 산업 사례에서 하한값 품질과 갭 수축 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 브랜치 앤 바운드 알고리즘이 콘크리트 혼합 설계 및 화학 촉매 반응 사례에서 Gurobi 7.5.2보다 유의미하게 높은 하한값과 더 큰 비율의 최적성 갭 수축을 달성하였다.
• 가짜비용 초기화에 식 (6)을 사용할 경우 랜덤 순서보다 성능이 뛰어나며, 특히 더 높은 lookahead 값에서 두드러진다.
• λ = 1000일 때, lookahead 크기가 l = 100인 경우 l = 1보다 더 많은 최적성 갭을 수축시키며, 이는 강력한 브랜치 기법이 더 이른 시점과 더 자주 하한값 향상에 기여함을 시사한다.
• λ = 1일 때는 lookahead 크기 증가에 따른 영향이 미미하여, GBT 구성 요소가 목적 함수를 지배하고 있으며, 더 정밀한 GBT 하한값이 강력한 브랜치 기법의 효과를 결정짓는다는 점을 시사한다.
• 심지어 GBT 분할에 의해 매우 이산화된 영역에서도 정확한 전역 최적해를 증명하는 데 수렴하는 데 성공하였으며, 갭 수축이 어려운 상황에서도 효과를 보였다.
• 공통된 구조적 특성을 공유하므로, 랜덤 포레스트 및 초초기화된 트리 앙상블 모델 등 다른 트리 앙상블 모델로도 일반화 가능하다.