[논문 리뷰] Optimal binning: mathematical programming formulation

Guillermo Navas-Palencia|arXiv (Cornell University)|2020. 01. 22.

Machine Learning and Data Classification참고 문헌 14인용 수 6

한 줄 요약

이 논문은 이元, 연속형, 다중 클래스 타겟을 동시에 지원하는 최적의 분할을 위한 새로운 볼록 혼합정수계획법(모형)을 제시한다. 이는 단조성 및 최소 분할 크기와 같은 제약 조건을 철저히 다루며, 수학적 프로그래밍을 통해 최적의 해를 도출하여 히وري스틱 방법보다 속도와 품질 면에서 뛰어나며, 특히 복잡한 단조성 경향이 있는 경우에 유리하다. 이는 오픈소스 OptBinning 라이브러리에 구현되어 있다.

ABSTRACT

The optimal binning is the optimal discretization of a variable into bins given a discrete or continuous numeric target. We present a rigorous and extensible mathematical programming formulation for solving the optimal binning problem for a binary, continuous and multi-class target type, incorporating constraints not previously addressed. For all three target types, we introduce a convex mixed-integer programming formulation. Several algorithmic enhancements, such as automatic determination of the most suitable monotonic trend via a Machine-Learning-based classifier and implementation aspects are thoughtfully discussed. The new mathematical programming formulations are carefully implemented in the open-source python library OptBinning.

연구 동기 및 목표

• 다양한 타겟 유형에 대해 엄밀하고 확장 가능한 수학적 프로그래밍 모형을 개발하는 것.
• 이전에 최적의 분할에서 다루지 못한 제약 조건, 즉 단조성, 최소 분할 크기, 연속형 타겟의 최대 p-값을 해결하는 것.
• 기계학습 기반 분류기로 최적의 단조성 경향(예: 정점 또는 골재)을 자동으로 탐지하는 것.
• 알고리즘적 개선 및 효율적인 솔버 통합을 통해 대규모 데이터셋에 대한 확장 가능한 솔루션을 제공하는 것.
• 오픈소스와 상용 최적의 분할 도구 간 격차를 줄이기 위해 종합적이고 프로덕션 준비된 구현을 제공하는 것.

제안 방법

• 제약 조건에 따라 정수선형(ILP) 및 정수이차형식(MIQP) 변형을 포함하는 볼록 혼합정수계획법(MIP)으로 최적의 분할을 수식화한다.
• 초기 분할 점을 생성하기 위해 의사결정트리 기반의 프리-빈닝 단계를 사용하며, m개의 분할 점으로부터 n개의 프리-빈을 생성한다.
• 분할 병합을 나타내기 위해 이진 하삼각행렬 X_ij를 결정 변수로 사용하며, 초기 상태로 대각선(모든 프리-빈 선택)에서 시작한다.
• 최소 및 최대 분할 크기, 단조성(상승, 하강, 정점, 골재) 및 연속형 타겟의 최대 p-값과 같은 제약 조건을 통합한다.
• 기계학습 분류기를 도입하여 데이터 패턴에 기반해 최적의 단조성 경향(예: 정점 또는 골재)을 자동으로 선택한다.
• 프리솔빙 알고리즘을 구현하고 현대적 솔버(Google OR-Tools, LocalSolver)를 활용하여 대규모 사례를 효율적으로 해결한다.

실험 결과

연구 질문

• RQ1 이원, 연속형, 다중 클래스 타겟을 동시에 해결할 수 있는 통합된 수학적 프로그래밍 모형을 개발할 수 있는가?
• RQ2 정상적이지 않은 경향(예: 정점/골재 포함)을 포함한 복잡한 제약 조건인 단조성 경향을 최적의 분할에서 엄밀하게 모델링할 수 있는가?
• RQ3 기계학습을 통한 자동 단조성 경향 탐지의 영향은 해의 품질과 계산 효율성에 어떤가?
• RQ4 최신 MIP 및 국소 탐색 솔버는 대규모 최적의 분할 문제에서 성능 면에서 어떻게 비교되는가?
• RQ5 프리솔빙 및 솔버 전용 최적화와 같은 알고리즘적 개선은 실제 데이터셋에 대해 해의 시간을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 모형은 볼록 MIP를 사용하여 이원, 연속형, 다중 클래스 타겟의 모든 유형에 대해 최적의 해를 달성하며, 해의 품질과 제약 조건 처리 면에서 이전 방법보다 크게 뛰어나다.
• 정점 단조성 경향의 경우, LocalSolver는 최적의 해를 5초 만에 도달했으며, CP-SAT 대비 28배 빠르게 성능을 보였다. 이는 복잡한 조합 구조에서 뛰어난 성능을 발휘함을 시사한다.
• 정점 경향이 있는 100개의 프리-빈 인스턴스에서 LocalSolver는 30초 내에 최적의 해를 도달했고, CP-SAT는 1000초 이내에 최적의 해를 찾지 못했다.
• 기계학습 기반 자동 단조성 경향 탐지로 인해 특히 정점 또는 골재와 같은 비표준 경향의 경우 해의 해석 시간이 크게 감소했다.
• 연속형 타겟의 경우 최적의 문제를 0.25초 내에 해결했으며, 대부분의 시간(71%)은 범주형 변수의 사전 처리에 소요되었다.
• 오픈소스 OptBinning 라이브러리는 제안된 모형을 성공적으로 구현하여 재현 가능성을 확보하고 프로덕션 워크플로우에의 통합을 가능하게 했다.