[논문 리뷰] A Kernel Mean Embedding Approach to Reducing Conservativeness in Stochastic Programming and Control

Jia-Jie Zhu, Moritz Diehl외 1명|arXiv (Cornell University)|2020. 01. 28.

Probabilistic and Robust Engineering Design참고 문헌 16인용 수 4

한 줄 요약

이 논문은 재생 커널 힐버트 공간 (RKHS) 내에서 분포 거리 정규화 최적화 문제로 시나리오 감소를 공식화하여 확률적 프로그래밍 및 제어에서의 보수성(conservativeness)을 줄이는 커널 평균 임베딩 방법을 제안한다. RKHS 거리 정규화를 갖는 축소 집합 전개를 사용함으로써, 제약 조건 이행성을 유지하면서 최적성 향상을 이루는 더 작은 대표 시나리오 집합을 선택한다. 이로 인해 계산 부담이 크게 감소하면서도 약 5% 이내의 제약 위반 확률을 달성할 수 있다.

ABSTRACT

We apply kernel mean embedding methods to sample-based stochastic optimization and control. Specifically, we use the reduced-set expansion method as a way to discard sampled scenarios. The effect of such constraint removal is improved optimality and decreased conservativeness. This is achieved by solving a distributional-distance-regularized optimization problem. We demonstrated this optimization formulation is well-motivated in theory, computationally tractable and effective in numerical algorithms.

연구 동기 및 목표

• 모든 샘플 시나리오에 대해 제약 조건을 강제하는 전통적인 확률적 프로그래밍 및 제어 방법에서 내재된 보수성을 줄이기 위해.
• 가장 최소한의 대표성 있는 시나리오 부분집합을 선택하여 타당성을 유지하면서 해의 최적성을 향상시키는 데이터 기반이고 해석 가능한 최적화 프레임워크를 개발하기 위해.
• 불확실성의 경험적 분포를 모델링하기 위해 재생 커널 힐버트 공간 (RKHS) 임베딩을 적용하고, 분포의 유사도 기반으로 시나리오 제거를 정규화하기 위해.
• 수치 실험을 통해 커널 기반의 분포 거리 기반으로 시나리오를 제거할 경우, 보수성이 낮고 성능이 뛰어난 제어기가 도출됨을 입증하기 위해.

제안 방법

• 경험적 분포와 시나리오 부분집합에 의해 지지되는 축소된 분포 사이의 RKHS 거리를 최소화하는 볼록 최적화 문제로 시나리오 감소 문제를 공식화한다.
• 선택된 시나리오 위에 정의된 딜타 측도들의 가중합으로 축소된 분포를 표현하기 위해 축소 집합 전개 방법을 사용하며, 가중치는 l1-정규화 최적화를 통해 학습한다.
• 제약 조건 경계까지의 거리에 기반하여, 제약 위반 가능성이 높은 시나리오의 제거를 우선시하는 목표 함수 내 스케일링 인자를 도입한다.
• 다중 스크래치를 사용하여 연속 시간 역학을 이산화된 최적 제어 문제(OCP)로 변환하고, IPOPT를 사용해 해결함으로써 알고리즘을 최적 제어 문제에 적용한다.
• 큰 표본 크기를 갖는 몬테카를로 시뮬레이션을 통해 시나리오 감소 후 제약 위반 확률과 기대 비용을 추정한다.
• 원래 경험적 분포와의 유사도를 유지하기 위해 RKHS 기반의 거리 측도를 사용하여 시나리오 선택 과정을 정규화한다.

실험 결과

연구 질문

• RQ1 커널 평균 임베딩 방법은 샘플 기반의 확률적 프로그래밍 및 제어에서 보수성을 효과적으로 줄이는데 유용한가?
• RQ2 분포 거리 정규화 최적화 문제로 시나리오 감소를 어떻게 공식화할 수 있으며, 타당성을 유지하면서 최적성을 향상시킬 수 있는가?
• RQ3 제약 조건에 가까운 시나리오 기반으로 시나리오를 제거할 경우, 제약 위반 확률과 기대 비용 사이의 상호 교환 관계는 어떠한가?
• RQ4 RKHS 기반 임베딩은 확률적 최적 제어에서 시나리오 선택을 위한 계산적으로 해석 가능한 이론적 기반을 제공할 수 있는가?

주요 결과

• 제안된 방법은 l1 정규화 계수 10−5일 때 14개의 시나리오를 제거함으로써 제약 위반 확률 2%를 달성하여 보수성이 감소한 것으로 확인되었다.
• l1 정규화 계수 5×10−3일 때 83개의 시나리오를 제거한 결과 제약 위반 확률은 5%로 증가하였으며, 이는 보수성과 성능 사이의 기대되는 상충 관계를 확인한 것이다.
• 축소 집합 임베딩 방법을 사용해 유도된 제어기는 전체 시나리오 해보다 더 낮은 기대 비용을 보이며, 더 뛰어난 최적성을 나타내었다.
• 최소 제약 조건 경계까지의 거리 기반 스케일링 인자를 통해, 제약 위반 가능성이 높은 시나리오를 효과적으로 식별하고 제거한 것으로 나타났다.
• 몬테카를로 시뮬레이션을 통해 축소 집합 접근법이 제약 조건 이행성 수준을 유지하면서도 최적화 문제의 제약 조건 수를 크게 줄이는 것으로 확인되었다.
• 이 방법은 계산적으로 해석 가능하며 이론적 원리에 잘 기반되어 있으며, 분포로 저항력 있는 최적화로의 확장 가능성이 있다.