[논문 리뷰] Multistage Stochastic Optimization via Kernels

Dimitris Bertsimas, Kimberly Villalobos Carballo|arXiv (Cornell University)|2023. 03. 11.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 재생 커널 힐버트 공간(RKHS)에서 커널 방법을 사용하여 다단계 확률적 최적화를 위한 비모수적이고 데이터 기반의 접근법을 제안한다. 이는 커널 기반 기능 확률적 경사 하강법과 기능 부분공간 투영을 통한 희소화를 통해 기능 최적화를 실현 가능하게 한다. 이 방법은 점점 커지는 최적화 성능를 보이며, 대규모 데이터셋과 고차원 문제에서도 확장 가능한 계산을 통해 거의 최적의 성능을 달성한다.

ABSTRACT

We develop a non-parametric, data-driven, tractable approach for solving multistage stochastic optimization problems in which decisions do not affect the uncertainty. The proposed framework represents the decision variables as elements of a reproducing kernel Hilbert space and performs functional stochastic gradient descent to minimize the empirical regularized loss. By incorporating sparsification techniques based on function subspace projections we are able to overcome the computational complexity that standard kernel methods introduce as the data size increases. We prove that the proposed approach is asymptotically optimal for multistage stochastic optimization with side information. Across various computational experiments on stochastic inventory management problems, {our method performs well in multidimensional settings} and remains tractable when the data size is large. Lastly, by computing lower bounds for the optimal loss of the inventory control problem, we show that the proposed method produces decision rules with near-optimal average performance.

연구 동기 및 목표

• 시나리오 트리의 열거와 차원의 저주를 피하는 비모수적이고 데이터 기반의 다단계 확률적 최적화 프레임워크를 개발하는 것.
• 역사적 데이터와 측면 정보에서 복잡한 비선형 종속성을 포착하기 위해 결정 규칙을 재생 커널 힐버트 공간(RKHS)의 함수로 표현하는 것.
• 대규모 설정에서 표준 커널 방법의 계산 비가역성을 해결하기 위해 기능 부분공간 투영을 통한 희소화를 도입하는 것.
• 불확실성 분포에 대한 약한 정규성 조건 하에서 결정 규칙의 점점 커지는 최적화를 보장하는 것.
• 특히 재고 및 운송 계획 문제에서 고차원, 대규모 데이터 설정에서의 성능를 경험적으로 검증하는 것.

제안 방법

• 결정 변수는 보편 커널에 의해 생성된 재생 커널 힐버트 공간(RKHS)의 원소로 모델링되어, 복잡한 결정 규칙의 비모수적 근사가 가능하다.
• 기능적 확률적 경사 하강법을 사용하여 RKHS 상에서 정규화된 경험 손실 함수를 최소화하며, 이는 이산적 결정이 아닌 기능적 파라미터에 대해 최적화하는 방식이다.
• 기능 부분공간 투영을 통해 희소화를 달성하여 각 결정 변수의 활성 파라미터 수를 줄이고 커널 방법의 계산 부담을 완화한다.
• 기능 형태의 Representer 정리에 기반하지만, 전체 커널 행렬의 역행렬 계산을 피하기 위해 기능의 저차원 부분공간에 투영한다.
• 알고리즘은 역사적 데이터와 측면 정보를 기반으로 훈련되며, 단계 간 불확실성의 상관관계에 대한 가정이 없다.
• 각 단계에서 커널 기반 기능 표현을 사용하여 관측된 정보에 조건부로 결정 규칙을 순차적으로 최적화함으로써 다단계 문제로 확장된다.

(a)

실험 결과

연구 질문

• RQ1 측면 정보가 있는 다단계 확률적 최적화에서 비모수적이고 커널 기반의 방법이 점점 커지는 최적화를 달성할 수 있는가?
• RQ2 시나리오 트리에 의존하지 않고 대규모 다단계 문제에 대해 커널 방법을 계산적으로 실현 가능한 방법으로 만들 수 있는가?
• RQ3 기능 부분공간 투영을 통한 희소화가 파라미터 수를 얼마나 줄일 수 있으며, 해의 품질은 유지되는가?
• RQ4 SAA, SRO, knn 기반 방법과 비교해 볼 때, 제안된 방법은 외부 표본 성능와 계산 시간 측면에서 어떻게 성능를 보이는가?
• RQ5 고차원 설정과 대규모 데이터 크기에서 이 방법이 높은 성능를 유지할 수 있는가?

주요 결과

• N=100 데이터 포인트에서 운송 계획 문제에 대해 테스트된 모든 방법 중 SMOK 알고리즘이 평균 외부 표본 수익(160,737.0)을 가장 높게 기록했다.
• N=5000일 때도 SMOK는 각 결정 변수당 약 60개의 파라미터만으로도 높은 성능를 유지하여 강력한 확장성을 보였다.
• SMOK의 계산 시간은 데이터 크기 증가에 따라 느리게 증가했으며, N=5000일 때 약 252초였다. 반면 SRO-knn와 SAA-knn는 N=5000일 때 계산이 비현실적이었으며(54,000초 이상 소요됨).
• 모든 데이터 크기에서 MOK와 SMOK가 SRO, SRO-knn, SAA-knn를 능가하는 외부 표본 수익을 기록했으며, SMOK는 성능와 효율성의 최적의 균형을 달성했다.
• 재고 제어 문제에 대해 계산된 하한선을 통해, 이 방법은 근사적으로 최적의 평균 성능를 보이는 결정 규칙을 생성했다.
• 이론적 분석을 통해 제안된 방법이 약한 조건 하에서 점점 커지는 최적화를 보장함을 확인하여, 데이터 크기가 증가함에 따라 일관성을 입증했다.

(c)