[논문 리뷰] Data-Driven Robust Optimization using Unsupervised Deep Learning

Marc Goerigk, Jannis Kurtz|UvA-DARE (University of Amsterdam)|2020. 11. 19.

Risk and Portfolio Optimization참고 문헌 46인용 수 6

한 줄 요약

이 논문은 기존 방법보다 더 나은 강건한 해를 제공하는, 역사적 데이터에서 비정상적인 데이터나 복잡한 구조를 가진 비볼록, 볼록 집합의 합집합으로 이루어진 불확실성 집합을 구성하기 위해 비지도 딥러닝을 활용하는 데이터 기반 강건 최적화 프레임워크를 제안한다. 이 방법은 적대적 문제를 볼록 2차 혼합정수계획법으로 재구성하여, 특히 노이즈가 많거나 고차원적인 환경에서 커널 기반 클러스터링보다 우수한 목적 함수 값과 타당성을 달성한다.

ABSTRACT

Robust optimization has been established as a leading methodology to approach decision problems under uncertainty. To derive a robust optimization model, a central ingredient is to identify a suitable model for uncertainty, which is called the uncertainty set. An ongoing challenge in the recent literature is to derive uncertainty sets from given historical data that result in solutions that are robust regarding future scenarios. In this paper we use an unsupervised deep learning method to learn and extract hidden structures from data, leading to non-convex uncertainty sets and better robust solutions. We prove that most of the classical uncertainty classes are special cases of our derived sets and that optimizing over them is strongly NP-hard. Nevertheless, we show that the trained neural networks can be integrated into a robust optimization model by formulating the adversarial problem as a convex quadratic mixed-integer program. This allows us to derive robust solutions through an iterative scenario generation process. In our computational experiments, we compare this approach to a similar approach using kernel-based support vector clustering. We find that uncertainty sets derived by the unsupervised deep learning method find a better description of data and lead to robust solutions that outperform the comparison method both with respect to objective value and feasibility.

연구 동기 및 목표

• 역사적 데이터에서 불확실성 집합을 효과적으로 구성하는 데 있어, 특히 이상치나 복잡한 구조를 포함한 데이터에서의 과제를 해결하기 위해.
• 기존의 볼록 불확실성 집합보다 비볼록 및 비연결된 데이터 패턴을 더 효과적으로 포착할 수 있는 데이터 기반 방법을 개발하기 위해.
• 복잡한 학습된 불확실성 집합에 대해 강건 최적화를 수행하면서도, 재구성 기반으로 계산 가능성을 유지하기 위해.
• 해의 품질과 계산 효율성 측면에서 딥러닝 기반 불확실성 집합과 커널 기반 서포트 벡터 클러스터링 간의 성능을 비교하기 위해.

제안 방법

• 기본적인 역사적 데이터의 구조를 학습하고 비볼록 불확실성 집합을 유한한 볼록 집합의 합집합으로 정의하기 위해 일괄형 딥뉴럴 네트워크를 사용한다.
• 불확실성 집합의 각 구성 요소는 다면체와 볼록 노름 제약의 교차로 정의되며, 이는 복잡한 기하학적 표현을 가능하게 한다.
• 적대적 강건 최적화 문제를 볼록 2차 혼합정수계획법으로 재구성하여 정확한 해를 최적화를 통해 확보한다.
• 역사적 데이터를 활용해 이중 변수를 제거하는 방식으로 문제를 분해하여 연속 부분문제의 시퀀스를 통해 해를 구한다.
• 학습된 불확실성 집합을 기반으로 반복적인 시나리오 생성 과정을 통해 강건한 해를 정밀화한다.
• 학습된 신경망을 강건 최적화 프레임워크에 통합하기 위해 악성 시나리오 식별 문제를 이중 최적화 문제로 간주한다.

실험 결과

연구 질문

• RQ1 비지도 딥러닝은 강건 최적화에서 역사적 데이터로부터 복잡한 비볼록 불확실성 집합을 효과적으로 모델링할 수 있는가?
• RQ2 목적 함수 값과 타당성 측면에서 딥러닝 기반 불확실성 집합은 커널 기반 서포트 벡터 클러스터링보다 어떻게 비교되는가?
• RQ3 비볼록 불확실성 집합에 대해 최적화하는 데 있어 NP-난해한 성격을 지닌 본 방법은 계산 가능성이 있는가?
• RQ4 노이즈나 고차원 데이터가 존재할 경우, 이 방법은 이산 시나리오 또는 커널 기반 접근 방식보다 더 잘 일반화되는가?
• RQ5 두 단계 강건 최적화에서 비볼록 구조의 불확실성 집합은 볼록 껍질 근사치에 비해 얼마나 더 강건성을 향상시키는가?

주요 결과

• 딥러닝 기반으로 유도된 불확실성 집합은 특히 고차원 또는 노이즈가 많은 데이터에서 커널 기반 클러스터링보다 더 정확하게 복잡한 데이터 구조를 포착한다.
• 20차원의 무작위 문제에서 딥러닝 방법은 목적 함수 값과 타당성 측면에서 커널 기반 클러스터링을 일관되게 능가했으며, 10개 경로 중 5개에서 신경망 해가 뚜렷하게 우수한 성능을 보였다.
• 실제 세계 데이터 실험에서는 딥러닝 방법이 문제 크기에 따라 더 잘 스케일업되었고, 커널 방법보다 더 계산 효율적이었으며, 동시에 더 높은 품질의 해를 생성했다.
• 相대적으로 노이즈가 적은 데이터에서는 이산 시나리오 접근 방식이 빠르게 고품질의 해를 도출했지만, 경로 03와 같은 핵심 케이스에서 딥러닝 방법이 여전히 슈퍼리어한 성능을 보였다.
• 학습된 불확실성 집합에 대한 적대적 문제는 비볼록성에도 불구하고 성공적으로 볼록 2차 혼합정수계획법으로 재구성되어 정확한 해를 도출할 수 있었다.
• 이 방법은 최적화 측면에서 강력한 NP-난해성을 지닌다. 그러나 재구성 덕분에 분해를 통해 효율적인 해법이 가능해져 실세계 응용에 실용적으로 적용될 수 있다.