[論文レビュー] Optimal binning: mathematical programming formulation

Guillermo Navas-Palencia|arXiv (Cornell University)|Jan 22, 2020

Machine Learning and Data Classification参考文献 14被引用数 6

ひとこと要約

本稿では、単一の凸混合整数プログラミング（MIP）定式化を用いて、二値、連続、多クラスのターゲットを同時に扱える最適ビニングの新規定式化を提示する。単調性や最小ビンサイズといった制約を厳密に取り扱い、数学的プログラミングにより最適解を達成し、特に複雑な単調トレンドを示すケースでヒューリスティック手法を上回る速度と品質を実現。OptBinningというオープンソースライブラリに実装済み。

ABSTRACT

The optimal binning is the optimal discretization of a variable into bins given a discrete or continuous numeric target. We present a rigorous and extensible mathematical programming formulation for solving the optimal binning problem for a binary, continuous and multi-class target type, incorporating constraints not previously addressed. For all three target types, we introduce a convex mixed-integer programming formulation. Several algorithmic enhancements, such as automatic determination of the most suitable monotonic trend via a Machine-Learning-based classifier and implementation aspects are thoughtfully discussed. The new mathematical programming formulations are carefully implemented in the open-source python library OptBinning.

研究の動機と目的

• 複数のターゲットタイプにわたる最適ビニングの、厳密かつ拡張可能な数学的プログラミング定式化の開発。
• 従来の最適ビニングで取り扱われていなかった制約、特に単調性、最小ビンサイズ、連続ターゲットの最大p値を含む制約の対応。
• 機械学習ベースの分類器を用いて、最適な単調トレンド（例：ピークまたはボトム）を自動で特定する仕組みの構築。
• アルゴリズム的強化と効率的なソルバ連携により、大規模データセット向けにスケーラブルなソリューションの提供。
• オープンソースと商業用最適ビニングツールのギャップを埋めるため、包括的かつ生産環境対応の実装を提供すること。

提案手法

• 最適ビニングを凸混合整数計画（MIP）として定式化し、制約の性質に応じて整数線形（ILP）および二次（MIQP）の変種を採用。
• 初期スプリットポイントの生成のため、決定木に基づくプリビニング手順を採用。m個のスプリットポイントからn個のプリビンを生成。
• ビンのマージを表すために、二値下三角行列X_ijを意思決定変数として採用。初期状態は対角成分が1（すべてのプリビンが選択済み）となる。
• 最小・最大ビンサイズ、単調性（上昇、下降、ピーク、ボトム）、連続ターゲットの最大p値といった制約を統合。
• データパターンに基づき、最適な単調トレンド（例：ピークまたはボトム）を自動で選択する機械学習分類器を導入。
• 前処理アルゴリズムを実装し、現代的なソルバ（Google OR-Tools、LocalSolver）を活用して大規模インスタンスを効率的に解く。

実験結果

リサーチクエスチョン

• RQ1 二値、連続、多クラスのターゲットを同時に解くための統一された数学的プログラミング定式化を構築できるか？
• RQ2 ピーク／ボトムなど非標準的な単調トレンドを含む、複雑な制約を最適ビニングで厳密にモデル化できるか？
• RQ3 機械学習による自動単調トレンド検出が、解の品質および計算効率に与える影響は何か？
• RQ4 大規模最適ビニング問題において、現代のMIPと局所探索ソルバの性能はどのように比較されるか？
• RQ5 前処理やソルバ固有の最適化といったアルゴリズム的強化は、実世界のデータセットにおける解法時間にどの程度の短縮効果をもたらすか？

主な発見

• 提案定式化は、凸MIPを用いて、二値、連続、多クラスのすべてのターゲットタイプで最適解を達成。解の品質と制約処理能力は、先行手法を大きく上回っている。
• ピーク単調トレンドのケースで、LocalSolverは5秒で最適解を発見。CP-SATに比べ28倍速く、複雑な組合せ構造に対しても優れた性能を示した。
• 100個のプリビンを含むピークトレンドのインスタンスにおいて、LocalSolverは30秒で最適解に到達したが、CP-SATは1000秒以内に最適解に到達できなかった。
• 機械学習による自動単調トレンド検出により、特にピークやボトムといった非標準トレンドのケースで、解法時間の大幅な短縮が達成された。
• 連続ターゲットのケースでは、最適化問題が0.25秒で解かれたが、主にカテゴリカル変数の前処理に71%の時間が費やされた。
• オープンソースのOptBinningライブラリは、本定式化を正しく実装しており、再現性の確保と生産ワークフローへの統合を可能にした。