[논문 리뷰] On Data-Driven Prescriptive Analytics with Side Information: A Regularized Nadaraya-Watson Approach

Prateek R. Srivastava, Yijie Wang외 2명|arXiv (Cornell University)|2021. 10. 10.

Distributed Sensor Networks and Detection Algorithms인용 수 14

한 줄 요약

이 논문은 측정된 정보를 활용한 데이터 기반 사전 분석을 위한 정규화된 Nadaraya-Watson 커널 회귀 방법을 제안한다. 분산 기반 정규화와 분포로 안정적인 최적화를 통해 샘플 외 성능 보장을 보장한다. 이 방법은 타당한 두 번째 순서 원형 재구성 방식을 통해 측정된 정보를 활용하여 확률적 최적화에서 의사결정 품질을 향상시킨다.

ABSTRACT

We consider generic stochastic optimization problems in the presence of side information which enables a more insightful decision. The side information constitutes observable exogenous covariates that alter the conditional probability distribution of the random problem parameters. A decision maker who adapts her decisions according to the observed side information solves an optimization problem where the objective function is specified by the conditional expectation of the random cost. If the joint probability distribution is unknown, then the conditional expectation can be approximated in a data-driven manner using the Nadaraya-Watson (NW) kernel regression. While the emerging approximation scheme has found successful applications in diverse decision problems under uncertainty, it is largely unknown whether the scheme can provide any reasonable out-of-sample performance guarantees. In this paper, we establish guarantees for the generic problems by leveraging techniques from moderate deviations theory. Our analysis motivates the use of a variance-based regularization scheme which, in general, leads to a non-convex optimization problem. We adopt ideas from distributionally robust optimization to obtain tractable formulations. We present numerical experiments for newsvendor and wind energy commitment problems to highlight the effectiveness of our regularization scheme.

연구 동기 및 목표

• 측정된 정보가 있는 데이터 기반 확률적 최적화에서 샘플 외 성능 보장의 부족을 해결하기 위해.
• 조건부 분산을 제어하여 일반화를 향상시키는 정규화된 Nadaraya-Watson 추정기 개발을 위해.
• 분포로 안정적인 최적화 기법을 사용하여 해석 가능한 최적화 문제를 제안하기 위해.
• 실제 의사결정 문제인 신문 판매자 문제와 풍력 에너지 기여 문제에서 정규화 기법의 효과성을 입증하기 위해.
• 커널 기반 조건부 기대값 추정과 불확실성 하에서의 강건한 의사결정 간 격차를 메우기 위해.

제안 방법

• 샘플 외 성능 향상을 위해 Nadaraya-Watson 추정기의 분산 기반 정규화 체계를 제안한다.
• 중간 편차 이론을 사용하여 정규화된 추정기의 성능 보장을 유도한다.
• 구형 이중성에 의한 두 번째 순서 원형 프로그래밍(SOCP)을 통해 정규화된 최적화 문제를 재구성한다.
• 분산 정규화로 인해 발생하는 비볼록성 문제를 다루기 위해 분포로 안정적인 최적화 기법을 적용한다.
• 가중치가 부여된 조건부 평균에서의 편차 제약 조건을 포함한 두 번째 순서 원형 프로그램으로 정규화된 문제의 해석 가능한 재구성을 유도한다.
• 측정된 정보에서 유도된 커널 가중치를 사용하여 비모수적 방식으로 조건부 기대값을 계산한다.

실험 결과

연구 질문

• RQ1 정규화된 Nadaraya-Watson 추정기는 데이터 기반 사전 분석에서 이론적인 샘플 외 성능 보장을 제공할 수 있는가?
• RQ2 분산 기반 정규화는 커널 기반 조건부 기대값 추정의 강건성을 어떻게 향상시키는가?
• RQ3 유도된 비볼록 최적화 문제는 분포로 안정적인 최적화 기법을 통해 해석 가능한 형태로 재구성될 수 있는가?
• RQ4 정규화된 방법의 경험적 성능은 확률적 최적화에서 선형 의사결정 규칙과 같은 기준 방법에 비해 어떻게 되는가?
• RQ5 측정된 정보의 포함 여부는 뉴스벤더 문제와 풍력 에너지 기여 문제에서 의사결정 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 정규화된 Nadaraya-Watson 추정기는 데이터 기반 정규화 체계를 통해 조건부 분산을 제어하여 샘플 외 성능을 향상시킨다.
• 중간 편차 이론을 사용하여 이론적 성능 보장을 제공함으로써 추정된 조건부 기대값의 수렴을 보장한다.
• 구형 이중성과 분포로 안정적인 최적화를 통해 비볼록 정규화 문제를 해석 가능한 두 번째 순서 원형 프로그램으로 재구성한다.
• 뉴스벤더 문제와 풍력 에너지 기여 문제에 대한 수치 실험 결과, 정규화된 방법이 표준 Nadaraya-Watson 및 선형 의사결정 규칙 방법보다 샘플 외 성능에서 뛰어나다는 것을 입증한다.
• 최적의 정규화 파rameter $λ$는 경험적 샘플 외 수익을 최대화하도록 선택되어, 이 기법의 실용적 효과성을 입증한다.
• 포트폴리오 예제에서 측정된 정보를 忽시할 경우 기대 수익이 29% 악화됨을 확인하여 공변수를 통합하는 가치를 입증한다.