[論文レビュー] Mixed-Integer Convex Nonlinear Optimization with Gradient-Boosted Trees Embedded

Miten Mistry, Dimitrios Letsios+3 more|arXiv (Cornell University)|Mar 2, 2018

Machine Learning in Materials Science被引用数 6

ひとこと要約

本稿では、勾配ブースティングツリー（GBTs）と凸ペナルティ関数を埋め込んだ大規模な混合整数凸非線形最適化問題に対する分枝限定法を提案する。GBTの組み合わせ的構造とペナルティ関数の凸性を活用することで、グローバル最適性またはタイトな最適性ギャップを達成でき、コンcrete mixture designおよび化学触媒反応の実応用例において、商用ソルバーよりも優れた下界を示した。

ABSTRACT

Decision trees usefully represent sparse, high dimensional and noisy data. Having learned a function from this data, we may want to thereafter integrate the function into a larger decision-making problem, e.g., for picking the best chemical process catalyst. We study a large-scale, industrially-relevant mixed-integer nonlinear nonconvex optimization problem involving both gradient-boosted trees and penalty functions mitigating risk. This mixed-integer optimization problem with convex penalty terms broadly applies to optimizing pre-trained regression tree models. Decision makers may wish to optimize discrete models to repurpose legacy predictive models, or they may wish to optimize a discrete model that particularly well-represents a data set. We develop several heuristic methods to find feasible solutions, and an exact, branch-and-bound algorithm leveraging structural properties of the gradient-boosted trees and penalty functions. We computationally test our methods on concrete mixture design instance and a chemical catalysis industrial instance.

研究の動機と目的

• 大規模な混合整数非線形計画問題内での事前学習済み勾配ブースティングツリー（GBT）モデルの最適化という課題に対処すること。
• 学習が不十分な領域におけるGBT予測のリスクを軽減するため、凸ペナルティ関数を統合すること。
• 産業応用に適したグローバル最適解または近似最適解を特定するための厳密法およびヒューリスティック法を開発すること。
• GBTの構造的性質と凸ペナルティの性質を活用して、分枝限定法の効率を向上させること。
• 従来の予測モデルを、離散的かつ非滑らかな制約下での意思決定に再利用可能にする。

提案手法

• GBT関数と凸ペナルティ項を含む混合整数凸非線形計画問題（MINLP）として最適化問題を定式化すること。
• GBTの組み合わせ的構造とペナルティ関数の凸性を活用する専用の分枝限定アルゴリズムを設計すること。
• GBT成分の下界を改善する変数の優先的分岐を実現するため、見通し付きの擬似コスト分岐を実装すること。
• 下界の動的改善とギャップの早期閉じを促進するため、さまざまな見通しサイズ（l = 1, 100）を用いたストロング分岐を適用すること。
• 商用ソルバーや厳密なグローバル最適化との統合を可能にするために、GBTモデルのMILP定式化を適用すること。
• PCAに基づく近接度測度を用いて、学習データ分布から遠い解をペナルティする凸ペナルティ関数を定義すること。

実験結果

リサーチクエスチョン

• RQ1 勾配ブースティングツリーを凸ペナルティを伴う混合整数非線形最適化問題に効率的に埋め込む方法は何か？
• RQ2 GBTのどの構造的性質を活用すれば、より高速で効果的な分枝限定法を設計できるか？
• RQ3 凸ペナルティ関数の導入が、学習データが希な領域における解の信頼性を向上させ、リスクを低減するメカニズムは何か？
• RQ4 見通し付きストロング分岐は、GBT埋め込み問題における下界の改善と最適性ギャップの閉じをどの程度向上させるか？
• RQ5 本手法は、Gurobi 7.5.2などの商用ソルバーよりも、大規模産業応用例における下界の質とギャップ閉鎖性において優れていると期待できるか？

主な発見

• 提案された分枝限定法は、コンcrete mixture designおよび化学触媒反応の両問題において、Gurobi 7.5.2に比べて顕著に優れた下界を達成し、最適性ギャップのより大きな割合を閉じた。
• 擬似コストの初期化に式 (6) を用いることで、特に見通しサイズが大きい場合に、ランダム順序よりも優れた分岐意思決定が得られ、性能が向上した。
• λ = 1000の場合、l = 100の見通しサイズがl = 1よりもより多くの最適性ギャップを閉じた。これは、強化されたストロング分岐により、より早期かつ頻繁に下界が改善されたことを示している。
• λ = 1の場合、見通しサイズの増加に伴う効果はほとんどなかった。これは、GBT成分が目的関数を支配しており、ストロング分岐の有効性を発揮するには、GBTの下界がよりタイトである必要があることを示唆している。
• 高密度に離散化されたドメイン（GBTスプリットに起因）であっても、本手法は正確なグローバル解の証明に収束することができ、ギャップ閉鎖が困難な状況でも有効であった。
• ランダムフォレストやエクストリームリサンプリングツリーなどの他のツリー集合モデルに対しても、共通する構造的性質を有するため、本手法は一般化可能である。