[논문 리뷰] Optimization with Constraint Learning: A Framework and Survey

Adejuyigbe O. Fajemisin, Donato Maragno외 1명|arXiv (Cornell University)|2021. 10. 05.

Constraint Satisfaction and Optimization인용 수 4

한 줄 요약

이 논문은 명시적 수식이 불가능한 경우 데이터에서 제약 조건을 체계적으로 학습할 수 있도록 돕는 구조적 다섯 단계 프레임워크인 최적화에서 제약 조건 학습(OCL)을 제안한다. 최근의 OCL 문헌을 검토하고, 모델 선택 및 임bedding에 대한 추세를 파악하며, 불확실성 통합, 효율적인 솔버 호환성, 모델 검증 등 강력한 최적화 결과를 위한 핵심 과제와 기회를 부각시킨다.

ABSTRACT

Many real-life optimization problems frequently contain one or more constraints or objectives for which there are no explicit formulas. If data is however available, these data can be used to learn the constraints. The benefits of this approach are clearly seen, however there is a need for this process to be carried out in a structured manner. This paper therefore provides a framework for Optimization with Constraint Learning (OCL) which we believe will help to formalize and direct the process of learning constraints from data. This framework includes the following steps: (i) setup of the conceptual optimization model, (ii) data gathering and preprocessing, (iii) selection and training of predictive models, (iv) resolution of the optimization model, and (v) verification and improvement of the optimization model. We then review the recent OCL literature in light of this framework, and highlight current trends, as well as areas for future research.

연구 동기 및 목표

• 명시적 수식이 불가능한 최적화 문제에서 데이터로부터 제약 조건을 학습하는 과정을 체계화하는 것.
• 실무자들이 방법론적 함정을 줄이고 안내할 수 있도록 OCL를 위한 종합적이고 단계적인 프레임워크를 제공하는 것.
• 제안된 프레임워크를 기반으로 최근의 제약 조건 학습 문헌을 검토하고 분류하여 공통적인 접근 방식과 연구 격차를 식별하는 것.
• 불확실성 인식 모델링, 효율적인 솔버 통합, 학습된 제약 조건의 형식적 검증 등 아직 탐색되지 않은 기회를 부각하는 것.
• 제약 조건 학습 분야에 대한 통합된 참조 자료를 제공함으로써 운영 연구 공동체 전반을 지원하는 것.

제안 방법

• 프레임워크는 다섯 단계로 구성된다: (i) 개념적 모델 설정, (ii) 데이터 수집 및 전처리, (iii) 예측 모델의 선택 및 훈련, (iv) 통합된 머신러닝 제약 조건을 갖춘 최적화 모델의 해법, (v) 검증 및 반복적 개선.
• 예측 모델로는 회귀 트리, 신경망, 기호 회귀와 같은 기법을 사용하여 탈락/가능한 데이터로부터 제약 조건을 학습함으로써 명시적 공식 유도를 피한다.
• 프레임워크는 수학적 최적화에 머신러닝 모델을 제약 조건으로 통합하는 데 중점을 두며, 서피스 모델링이나 매개변수 예측과는 명확히 구분된다.
• 전체 문제 구조 학습(예: CP 모델 학습), SMT, 또는 불확실성 집합 학습에 초점을 맞춘 방법은 제외되며, 제약 조건에 특화된 학습에만 집중된다.
• 저자들은 향후 연구로 불확실성 인식 최적화, 효율적인 솔버 통합(예: 비필수 네트워크 구성 요소 숨기기) 및 학습된 모델의 형식적 검증을 주장한다.
• 모델 품질 향상을 위해 최소한의 데이터로 탐색과 이용의 균형을 이루는 활성 학습 및 적응형 샘플링 전략을 제안한다.

실험 결과

연구 질문

• RQ1 실제 최적화 문제에서 비체계적 접근 방식을 피하기 위해 제약 조건 학습을 어떻게 체계적으로 정의할 수 있는가?
• RQ2 제약 조건 학습을 위한 최적화 프레임워크에 가장 효과적이고 통합 가능한 예측 모델링 기법은 무엇인가?
• RQ3 예측 모델의 불확실성은 어떻게 최적화에 의미 있게 통합되어 강건성을 향상시킬 수 있는가?
• RQ4 딥 네트워크와 같은 복잡한 모델을 최적화 솔버에 통합할 때 발생하는 계산적 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 학습된 제약 조건 모델은 어떻게 형식적으로 검증하고 반복적으로 개선하여 신뢰성과 성능을 확보할 수 있는가?

주요 결과

• 제안된 OCL 프레임워크는 데이터로부터 제약 조건을 학습하는 데 있어 체계적이고 반복 가능한 과정을 제공하여, 일관성 없거나 최적화되지 않은 모델링의 위험을 줄인다.
• 신경망, 결정 트리, 기호 회귀는 제약 조건 학습에 가장 흔히 사용되는 방법이지만, 덜 탐색된 기법들이 장점을 제공할 수 있다.
• 로버스트 또는 스토하스틱 프로그래밍을 통해 예측 모델의 불확실성 측정치(예: Softmax 점수, 오분류 수)를 최적화에 통합하는 것은 아직 미비하게 다뤄졌지만 잠재력이 큰 분야이다.
• 비필수 활성화 함수를 숨기는 등의 방법으로 머신러닝 모델을 솔버에 효율적으로 통합하면 계산 성능을 크게 향상시킬 수 있다.
• 신경망에 대해 사용되는 것과 유사한 형식적 검증 프레임워크가 학습된 제약 조건을 위한 신뢰성과 해의 강건성을 확보하기 위해 필요하다.
• 앙상블 방법은 다른 머신러닝 응용 분야에서 뛰어난 예측 성능를 보임에도 불구하고 제약 조건 학습 분야에서는 아직 활용도가 낮다.