[논문 리뷰] An Online Prediction Approach Based on Incremental Support Vector Machine for Dynamic Multiobjective Optimization

Dejun Xu, Min Jiang외 4명|arXiv (Cornell University)|2021. 02. 24.

Advanced Multi-Objective Optimization Algorithms참고 문헌 51인용 수 4

한 줄 요약

이 논문은 동적 다목적 최적화 문제에서 비선형 상관관계를 모델링하기 위해 점진적 서포트 벡터 기반 기반(Incremental SVM, ISVM)을 사용하는 온라인 예측 접근법인 ISVM-DMOEA를 제안한다. 기존의 히스토리컬한 파레토 최적 해들 간의 비선형 상관관계를 모델링하고, 새로운 해들로 지속적으로 ISVM을 업데이트하며, 데이터 불균형 문제를 해결하기 위해 SMOTE를 적용함으로써 고품질의 초기 집단을 생성한다. 이는 기준 알고리즘들에 비해 수렴성과 성능을 크게 향상시킨다. 14개의 기준 문제에서의 실험 결과, 최신 기술 대비 뛰어난 성능을 보였다.

ABSTRACT

Real-world multiobjective optimization problems usually involve conflicting objectives that change over time, which requires the optimization algorithms to quickly track the Pareto optimal front (POF) when the environment changes. In recent years, evolutionary algorithms based on prediction models have been considered promising. However, most existing approaches only make predictions based on the linear correlation between a finite number of optimal solutions in two or three previous environments. These incomplete information extraction strategies may lead to low prediction accuracy in some instances. In this paper, a novel prediction algorithm based on incremental support vector machine (ISVM) is proposed, called ISVM-DMOEA. We treat the solving of dynamic multiobjective optimization problems (DMOPs) as an online learning process, using the continuously obtained optimal solution to update an incremental support vector machine without discarding the solution information at earlier time. ISVM is then used to filter random solutions and generate an initial population for the next moment. To overcome the obstacle of insufficient training samples, a synthetic minority oversampling strategy is implemented before the training of ISVM. The advantage of this approach is that the nonlinear correlation between solutions can be explored online by ISVM, and the information contained in all historical optimal solutions can be exploited to a greater extent. The experimental results and comparison with chosen state-of-the-art algorithms demonstrate that the proposed algorithm can effectively tackle dynamic multiobjective optimization problems.

연구 동기 및 목표

• 동적 다목적 최적화 문제(DMOPs)에서 변화하는 파레토 최적 해의 front를 추적하는 데 도전하는 것.
• 기존 방법들이 비선형 상관관계를 忽시하고 역사적 데이터를 제한적으로 사용하는 선형 예측 모델의 한계를 극복하는 것.
• 과거 정보를 버리지 않고 새로운 최적 해들을 지속적으로 통합하는 온라인 학습 프레임워크를 개발하는 것.
• 점진적 학습과 합성 데이터 증강을 통해 동적 환경에서의 예측 정확도와 집단 품질을 향상시키는 것.
• 제안된 방법이 다양한 정적 다목적 최적화 알고리즘과 융합될 수 있는 유연성과 강건성을 입증하는 것.

제안 방법

• 동적 다목적 최적화 문제를 온라인 학습 프로세스로 간주하고, 새로운 최적 해 집합이 도착할 때마다 점진적 서포트 벡터 머신(ISVM)을 업데이트한다.
• ISVM은 여러 시점에서의 최적 해들 간의 비선형 관계를 학습하여, 새로운 파레토 최적 집합을 정확하게 예측할 수 있도록 한다.
• 훈련 시에 부족한 훈련 샘플의 영향을 줄이기 위해, ISVM 학습 이전에 합성 소수 데이터 과잉 생성 기법(SMOTE)을 적용한다.
• 학습된 ISVM을 활용해 고품질의 랜덤 해들을 걸러내고 선별하여 다음 환경의 초기 집단을 구성한다.
• RM-MEDA, NSGA-II, MOPSO 등의 정적 다목적 최적화 기법과 통합하여 하이브리드 프레임워크인 ISVM-DMOEA를 구성한다.
• 환경 변화가 감지될 경우, ISVM이 유망한 해 영역을 예측하고, 이를 바탕으로 초기 집단을 동적으로 생성한다.

실험 결과

연구 질문

• RQ1 점진적 서포트 벡터 머신(ISVM)은 동적 다목적 최적화 문제에서 시간에 따라 변화하는 파레토 최적 해들 간의 비선형 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 ISVM과 결합된 SMOTE는 데이터가 부족한 동적 최적화 환경에서 예측 정확도를 어떻게 향상시키는가?
• RQ3 ISVM-DMOEA는 기존의 예측 기반 유전적 알고리즘에 비해 수렴성과 초과체적 영역(Hypervolume) 지표에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 제안된 방법은 다양한 정적 다목적 최적화 알고리즘과 융합되었을 때도 강력한 성능 유지를 할 수 있는가?
• RQ5 ISVM의 온라인 학습 메커니즘은 과거의 모든 최적 해 데이터를 폐기 없이 효과적으로 활용할 수 있는가?

주요 결과

• DF1에서 DA-RM-MEDA 대비 MIGD 평균 62.9% 향상되었으며, DF6에서는 최대 91.8%까지 감소하였다.
• DF6에서 ISVM-DMOEA는 MIGD 평균을 12.650(기준: DA-RM-MEDA)에서 12.299로 감소시켜, 높은 난이도 문제에서도 강력한 성능을 보였다.
• ISVM-MOPSO 변종은 DF2에서 MIGD 평균 68.2% 감소시키며, 다른 네 개 문제에서는 60% 이상 감소시켜 뛰어난 수렴 속도를 입증하였다.
• 제거 실험 결과, ISVM과 SMOTE 모두 성능 향상에 기여하며, ISVM은 모든 테스트 문제에서 일관된 개선 효과를 보였다.
• NSGA-II 및 MOPSO와 융합했을 때도 기준 알고리즘보다 MIGD에서 평균 22.6%에서 68.2%까지 향상되었으며, 강건성을 입증하였다.
• 복잡한 POF 형태(공이 뚫린 경우나 비정규 분포를 가진 경우)에서도 뛰어난 적응성과 성능 유지를 보였지만, 상관관계가 낮은 환경에서는 여전히 도전 과제가 존재한다.