[논문 리뷰] Runtime Analysis of Single- and Multi-Objective Evolutionary Algorithms for Chance Constrained Optimization Problems with Normally Distributed Random Variables

Frank Neumann, Carsten Witt|arXiv (Cornell University)|2021. 09. 13.

Advanced Multi-Objective Optimization Algorithms참고 문헌 32인용 수 4

한 줄 요약

이 논문은 정규 분포를 가진 난수 변수를 갖는 확률적 제약 조건 최적화를 위한 다목적 유전적 알고리즘 프레임워크를 제안한다. 문제를 기대 비용과 분산 간의 트레이드오프로 재구성하여, 임의의 신뢰수준 α ≥ 1/2에서 최적 해를 기대 다항 시간 내에 계산할 수 있음을 증명한다. 이는 단일 목표 (1+1) EA가 제약 조건이 있는 경우에 기하급수적 실행 시간 문제를 해결하는 데 성공한다.

ABSTRACT

Chance constrained optimization problems allow to model problems where constraints involving stochastic components should only be violated with a small probability. Evolutionary algorithms have been applied to this scenario and shown to achieve high quality results. With this paper, we contribute to the theoretical understanding of evolutionary algorithms for chance constrained optimization. We study the scenario of stochastic components that are independent and normally distributed. Considering the simple single-objective (1+1) EA, we show that imposing an additional uniform constraint already leads to local optima for very restricted scenarios and an exponential optimization time. We therefore introduce a multi-objective formulation of the problem which trades off the expected cost and its variance. We show that multi-objective evolutionary algorithms are highly effective when using this formulation and obtain a set of solutions that contains an optimal solution for any possible confidence level imposed on the constraint. Furthermore, we prove that this approach can also be used to compute a set of optimal solutions for the chance constrained minimum spanning tree problem. In order to deal with potentially exponentially many trade-offs in the multi-objective formulation, we propose and analyze improved convex multi-objective approaches. Experimental investigations on instances of the NP-hard stochastic minimum weight dominating set problem confirm the benefit of the multi-objective and the improved convex multi-objective approach in practice.

연구 동기 및 목표

• 정규 분포를 가진 확률적 성분을 갖는 확률적 제약 조건 문제에서 단일 목표 유전적 알고리즘의 이론적 한계를 해결하기 위해.
• 기대 비용과 분산 간의 트레이드오프를 고려한 다목적 공식화를 개발하여, 임의의 신뢰수준 α ≥ 1/2에서 최적 해를 달성하기 위해.
• 제약 조건이 있는 경우에 (1+1) EA가 겪는 기하급수적 실행 시간 블랙스페이스를 다목적 최적화 접근법을 도입하여 극복하기 위해.
• 목표 간 트레이드오프의 수가 기하급수적으로 증가할 경우에도 다항 실행 시간을 유지할 수 있는 볼록 껍질 기반의 유전적 알고리즘을 설계하기 위해.
• NP-난이도를 가진 확률적 최소 무게 지배 집합 문제에 대해 실증적으로 검증하기 위해.

제안 방법

• 정규 분포의 성질을 활용하여 기대값과 표준편차의 선형 조합을 사용해 확률적 제약 조건 문제를 결정적 등가 문제로 재구성하기.
• 기대 비용과 해의 분산을 목표로 하는 다목적 공식화를 도입하여, 임의의 α ≥ 1/2에서의 모든 신뢰수준에서 트레이드오프를 가능하게 하기.
• GSEMO 알고리즘을 사용해 파레토 최적화를 수행하고, α ≥ 1/2에서 최적 해 집합을 기대 다항 시간 내에 계산할 수 있음을 증명하기.
• 목표 간 트레이드오프의 수가 기하급수적으로 증가하더라도 다항 기대 실행 시간을 유지할 수 있는 볼록 껍질 기반의 유전적 알고리즘을 제안하기.
• 확률적 제약 조건이 있는 최소 스패닝 트리 문제에 프레임워크를 적용하여, 임의의 α ≥ 1/2에서 최적 해를 달성함을 보여주기.
• 실제로 NP-난이도를 가진 확률적 최소 무게 지배 집합 문제에 대해 실험적 평가를 수행하여 다목적 및 볼록 껍질 기반 접근법의 실용적 이점을 검증하기.

실험 결과

연구 질문

• RQ1 카디널리티 제약 조건이 존재할 경우, (1+1) EA는 정규 분포를 가진 성분을 갖는 확률적 제약 조건 최적화 문제를 효율적으로 해결할 수 있는가?
• RQ2 기대 비용과 분산 간의 트레이드오프를 고려한 다목적 공식화는 임의의 신뢰수준 α ≥ 1/2에서 최적 해를 도출할 수 있는가?
• RQ3 목표 간 트레이드오프의 수가 기하급수적으로 증가할 경우, 볼록 껍질 기반의 유전적 알고리즘은 다항 기대 실행 시간을 유지할 수 있는가?
• RQ4 제안된 다목적 프레임워크는 최소 무게 지배 집합과 같은 NP-난이도를 가진 확률적 제약 조건 문제에 효과적인가?
• RQ5 실제 세계의 인스턴스에서 다목적 접근법의 성능는 단일 목표 방법과 비교해 어떻게 나타나는가?

주요 결과

• (1+1) EA는 비선형 목표 함수로 인한 국소 최적해로 인해 단순한 확률적 제약 조건 인스턴스에서도 기하급수적 실행 시간을 겪는다.
• 기대 비용과 분산을 사용한 다목적 공식화는 임의의 α ≥ 1/2에서 최적 해에 해당하는 극단점들을 포함하는 파레토 프론트를 생성한다.
• GSEMO는 인구 크기가 다항식 범위에 머무를 경우, α ≥ 1/2에서 최적 해 집합을 기대 다항 시간 내에 계산할 수 있다.
• 볼록 껍질 기반의 유전적 알고리즘은 트레이드오프의 수가 기하급수적으로 증가하더라도, 임의의 α ≥ 1/2에서 최적 해를 기대 다항 시간 내에 계산할 수 있다.
• 확률적 최소 무게 지배 집합 문제에 대한 실험 결과는 다목적 및 볼록 껍질 기반 접근법이 단일 목표 방법보다 뚜렷한 성능 향상을 보였다.
• 신뢰수준 α = 1.0E-16에서 볼록 껍질 기반 알고리즘이 ca-GrQc와 같은 대규모 네트워크에서 평균 1060만 회 이하의 반복 수로 최적 해를 달성하여 확장성을 입증했다.