[논문 리뷰] Robust Optimization using Machine Learning for Uncertainty Sets

Theja Tulabandhula, Cynthia Rudin|arXiv (Cornell University)|2014. 07. 04.

Fault Detection and Control Systems인용 수 24

한 줄 요약

이 논문은 기계학습을 활용하여 강건 최적화에서 불확실성 집합을 데이터 기반으로 구성하는 접근법을 제안하며, 결정의 강건성에 대해 확률적 보장을 제공한다. 통계학적 학습 이론과 분위수 회귀를 활용하여, 복잡한 고차원 데이터에 적응하면서도 보수성을 최소화하는 불확실성 집합을 생성함으로써, 향후 실현값에 대해 강건한 해가 높은 확률로 타당성을 유지함을 보장한다.

ABSTRACT

Our goal is to build robust optimization problems for making decisions based on complex data from the past. In robust optimization (RO) generally, the goal is to create a policy for decision-making that is robust to our uncertainty about the future. In particular, we want our policy to best handle the the worst possible situation that could arise, out of an uncertainty set of possible situations. Classically, the uncertainty set is simply chosen by the user, or it might be estimated in overly simplistic ways with strong assumptions; whereas in this work, we learn the uncertainty set from data collected in the past. The past data are drawn randomly from an (unknown) possibly complicated high-dimensional distribution. We propose a new uncertainty set design and show how tools from statistical learning theory can be employed to provide probabilistic guarantees on the robustness of the policy.

연구 동기 및 목표

• 미래의 결과가 불확실할 때, 원칙적이고 보수적이지 않은 불확실성 집합을 구성하는 데 도전하는 것.
• 역사적 데이터와 통계학적 학습을 통합하여 실제 세계의 복잡성과 변동성을 반영하는 불확실성 집합을 모델링하는 것.
• 데이터 기반의 불확실성 집합에서 유도된 최적화 정책의 강건성에 대해 확률적 보장을 제공하는 것.
• 강건한 최적화에 있어 전통적인 불확실성 집합 구성 방법의 한계를 극복하는 것 — 즉, 임의의 가정이나 단순 통계에 의존하는 것.

제안 방법

• 이 방법은 역사를 기반으로 한 역사적 특징을 바탕으로 향후 결과의 하한 및 상한 예측 구간을 추정하기 위해 분위수 회귀를 사용하여 데이터 기반의 불확실성 집합을 구성한다.
• 추정 오차를 제한하기 위해 통계학적 학습 이론을 적용하여 진짜 결과가 높은 확률로 예측 간격 내에 존재하도록 보장한다.
• 불확실성 집합은 예측 모델의 가족에서 유도된 다수의 테스트 포인트에 대한 예측 간격의 카티esian 곱으로 정의된다.
• 유니온 바운드와 드 모르간의 법칙을 사용하여 다수의 모델에서 유도된 신뢰구간을 조합함으로써 고확률 타당성 보장을 유지한다.
• 경험적 리스크 최소화와 모델 선택을 통해 타당한 예측 모델의 집합을 식별하고, 이로부터 불확실성 집합을 유도한다.
• 모델이 데이터를 동일하게 잘 맞추는 다수의 좋은 모델(라슈모닉 효과)이 존재하는 것을 고려하여, 불확실성 집합 구성 시 이러한 모든 모델을 포함한다.

실험 결과

연구 질문

• RQ1 강건 최적화에서 복잡하고 고차원적인 역사적 데이터로부터 강건한 불확실성 집합을 구성할 수 있는가? 이때 강건한 불확실성 집합은 강력한 분포 가정에 의존하지 않는다.
• RQ2 기계학습 모델을 사용하여 향후 실현값에 대해 강건 최적화 해가 높은 확률로 타당성을 유지하는 불확실성 집합을 정의할 수 있는가?
• RQ3 모델 불확실성(Rashomon 효과)이 불확실성 집합 설계에 미치는 영향은 무엇이며, 이를 강건 최적화에 공식적으로 반영할 수 있는가?
• RQ4 강건성에 대한 확률적 보장을 통계학적 학습 이론의 도구를 사용하여 유도할 수 있는가? 이는 파라미터 가정에 의존하지 않는다.

주요 결과

• 제안된 불확실성 집합 구성 방법은 진짜 데이터 분포가 알려지지 않은 상황에서도 향후 결과에 대해 강건 최적화 해가 높은 확률로 타당성을 유지함을 보장한다.
• 이 방법은 농도 불확실성 이론과 유니온 바운드를 사용하여 다수의 모델에서 유도된 예측 간격을 조합함으로써 타당성에 대한 확률적 보장을 달성한다.
• 이 방법은 강력한 분포 가정 없이도 불확실성 집합을 구성하며, 가장 일반적인 경우에서는 분포 꼬리에 대한 알려진 통계량이 존재하기만 하면 된다.
• 이 접근법은 데이터의 조건부 분포에 적응함으로써 전통적인 간격 또는 볼록 Hull 기반의 불확실성 집합보다 보수성을 줄인다.
• 향후 실현값에 대한 타당성 확률은 모델 신뢰수준과 테스트 포인트의 수에 대한 함수로 아래에서 유계이므로 확장성이 보장된다.
• 이 방법은 라슈모닉 효과를 데이터 기반의 불확실성 집합 설계에 성공적으로 통합하여, 모든 경험적으로 구별 불가능한 모델을 포함함으로써 모델 불확실성을 원칙적으로 포괄한다.