[논문 리뷰] Task-based End-to-end Model Learning in Stochastic Optimization

Priya L. Donti, Brandon Amos외 1명|arXiv (Cornell University)|2017. 03. 13.

Advanced Bandit Algorithms Research인용 수 126

한 줄 요약

이 논문은 작업 손실을 최적화하여 확률 모델을 학습하는 엔드-투-엔드 프레임워크를 제시하며 재고, 그리드 스케줄링, 에너지 저장 작업의 의사결정을 개선합니다.

ABSTRACT

With the increasing popularity of machine learning techniques, it has become common to see prediction algorithms operating within some larger process. However, the criteria by which we train these algorithms often differ from the ultimate criteria on which we evaluate them. This paper proposes an end-to-end approach for learning probabilistic machine learning models in a manner that directly captures the ultimate task-based objective for which they will be used, within the context of stochastic programming. We present three experimental evaluations of the proposed approach: a classical inventory stock problem, a real-world electrical grid scheduling task, and a real-world energy storage arbitrage task. We show that the proposed approach can outperform both traditional modeling and purely black-box policy optimization approaches in these applications.

연구 동기 및 목표

• 최종 작업 objective를 순수 예측 정확도만이 아니라 직접 최적화하도록 예측 모델 학습을 촉진한다.
• 불확실성 하에서 작업 손실을 최소화하기 위해 확률 모델링을 확률적 프로그래밍과 통합한다.
• 최적화 해를 통해 작업 손실을 전달하여 모델을 업데이트하는 미분 가능 프레임워크를 개발한다.
• 재고 관리, 전력생산 일정 수립, 배터리 차익거래에 대해 접근법을 평가하여 실용적 이점을 입증한다.

제안 방법

• 작업 손실 L(θ) = E[f(x,y,z*(x;θ))]를 정의한다. 여기서 z*(x;θ)는 p(y|x;θ)를 사용한 확률적 프로그래밍의 해(solution)이다.
• 분포 p(y|x;θ)를 갖는 (잠재적으로 제약이 있는) 확률적 프로그래밍을 풀어 z*(x;θ)를 계산한다.
• KKT 조건을 사용하여 ∂z*/∂θ를 얻고 작업 손실과 제약 위반에 의해 안내되는 기울기로 θ를 업데이트한다.
• 작업 손실이나 위반된 제약에 따라 θ를 업데이트하고 z*(x;θ)를 해결하는 사이클을 교대로 수행하는 Algorithm 1을 제안한다.
• 필요할 때 확률적 제약을 페널티 항을 통해 목표 함수로 이동시켜 처리한다.
• 필요한 기울기를 계산하기 위해 순차 최적법(SQP)과 최근의 argmin 미분 기법을 적용한다.

실험 결과

연구 질문

• RQ1 확률 모델을 예측 정확도가 아닌 작업 기반 손실을 직접 최소화하도록 학습시킬 수 있는가?
• RQ2 확률적 프로그래밍 문제의 해를 통해 그래디언트를 전달하여 모델 매개변수를 업데이트하는 방법은?
• RQ3 실용적 확률적 최적화 과제에서 엔드투엔드 작업 기반 모델이 전통적인 MLE 및 모델 자유 정책 최적화를 능가하는가?
• RQ4 제약 및 비제약 확률적 프로그래밍에서 엔드투엔드 작업 기반 학습의 이점과 트레이드오프는 무엇인가?

주요 결과

• 작업 기반 엔드투엔드 접근법은 평가된 과제에서 전통적 MLE 및 순수 정책 최적화를 상당히 능가한다.
• 현실적인 그리드 스케줄링 과제에서 작업 기반 방법은 전통적 확률적 프로그래밍 기준선 대비 작업 손실을 38.6% 감소시킨다.
• 참 분포가 비선형이거나 모델 클래스에 의해 부분적으로만 표현될 수 있을 때도 이 방법은 효과적이다.
• 에너지 가격 예측에서 작업 기반 방법은 더 안정적인 성능을 내고 가격 급등에 방어해준다.
• 이 방법은 최적화 해를 미분함으로써 제약 여부에 상관없이 무제약 및 제약 확률적 프로그래밍을 수용할 수 있다.