[논문 리뷰] A Scalable Test Problem Generator for Sequential Transfer Optimization

Xiaoming Xue, Cuie Yang외 4명|arXiv (Cornell University)|2023. 04. 17.

Advanced Multi-Objective Optimization Algorithms인용 수 4

한 줄 요약

이 논문은 순차적 전이 최적화(sequential transfer optimization, STO)를 위한 확장 가능한 테스트 문제 생성기를 제안하며, 소스 작업과 타겟 작업 간의 유사도 분포를 사용자 정의할 수 있도록 하여 STO 연구 분야에서의 체계적 벤치마킹 부족 문제를 해결한다. 역변환 표본 추출을 통해 유사도 분포를 명시적으로 정의함으로써, 다양한 실용적인 STO 문제를 생성하여 소스 선택 알고리즘 간의 성능 차이를 드러내며, 기존의 벤치마크보다 뛰어난 평가 능력을 입증한다.

ABSTRACT

Sequential transfer optimization (STO), which aims to improve the optimization performance on a task of interest by exploiting the knowledge captured from several previously-solved optimization tasks stored in a database, has been gaining increasing research attention over the years. However, despite the remarkable advances in algorithm design, the development of a systematic benchmark suite for comprehensive comparisons of STO algorithms received far less attention. Existing test problems are either simply generated by assembling other benchmark functions or extended from specific practical problems with limited scalability. The relationships between the optimal solutions of the source and target tasks in these problems are also often manually configured, limiting their ability to model different similarity relationships presented in real-world problems. Consequently, the good performance achieved by an algorithm on these problems might be biased and hard to be generalized to other problems. In light of the above, in this study, we first introduce four concepts for characterizing STO problems and present an important problem feature, namely similarity distribution, which quantitatively delineates the relationship between the optima of the source and target tasks. Then, we present the general design guidelines of STO problems and a particular STO problem generator with good scalability. Specifically, the similarity distribution of a problem can be easily customized, enabling a continuous spectrum of representation of the diverse similarity relationships of real-world problems. Lastly, a benchmark suite with 12 STO problems featured by a variety of customized similarity relationships is developed using the proposed generator. The source code of the problem generator is available at https://github.com/XmingHsueh/STOP-G.

연구 동기 및 목표

• 순차적 전이 최적화(STO) 알고리즘을 평가하기 위한 체계적인 벤치마크 세트의 부족 문제를 해결하기 위해.
• STO 벤치마킹에서 소스 작업과 타겟 작업 간의 유사도 분포가 핵심 문제 특성으로서 중요한 역할을 한다는 것을 규명하기 위해.
• 다양한 STO 문제 생성을 지원하기 위해 사용자 정의 가능한 유사도 분포를 갖춘 확장 가능하고 유연한 테스트 문제 생성기를 개발하기 위해.
• 다양한 유사도 관계를 가진 12개의 STO 문제로 구성된 벤치마크 세트를 구축하여 공정하고 종합적인 알고리즘 평가를 가능하게 하기 위해.
• 기존의 합성 테스트 문제들과 비교해 복잡한 유사도 분포를 갖춘 제안된 생성기가 소스 선택 방법 간의 성능 차이를 더 잘 구별할 수 있음을 입증하기 위해.

제안 방법

• STO 문제를 기술하기 위해 작업 가족, 작업 최적값 매핑, 최적값 커버리지, 유사도 분포의 네 가지 기초 개념을 도입한다.
• 소스 작업 최적값과 타겟 작업 최적값 간의 유사도 분포를 명시적으로 제어하기 위해 역변환 표본 추출 기반의 새로운 최적값 구성 기법을 제안한다.
• 다양한 최적화 시나리오를 지원하기 위해 확장성과 유연성을 갖춘 일반적인 STO 문제 생성 프레임워크를 설계한다.
• 기본 요소 함수와 그 조합을 활용하여 조절 가능한 유사도 관계를 갖는 합성 STO 문제를 구성한다.
• 평가 실험에서 기반 최적화 도구로 표준 연산자(유사 이진 교차, 다항식 변형)를 갖는 진화 알고리즘을 사용한다.
• 다른 테스트 문제 세트 간의 알고리즘 순위를 통계적으로 비교하기 위해 윌코크슨 순위합 검정을 적용한다.

실험 결과

연구 질문

• RQ1 사용자 정의 가능한 유사도 분포를 갖는 테스트 문제 생성기가 기존의 벤치마크보다 소스 선택 방법의 성능 차이를 더 잘 구별할 수 있는가?
• RQ2 소스 작업과 타겟 작업 간의 유사도 분포가 다양하게 변할 경우, STO 알고리즘의 순위와 상대적 성능에 어떤 영향을 미치는가?
• RQ3 제안된 생성기가 STO 평가를 위한 다양하고 대표적인 벤치마크 세트의 구축을 어느 정도 지원하는가?
• RQ4 제안된 STO 문제들이 기존의 테스트 문제에서 가려졌던 소스 선택 알고리즘 간의 성능 차이를 드러내는가?
• RQ5 유사도 분포 특성이 STO 알고리즘에서 지식 전이의 효과성에 어떤 영향을 미치는가?

주요 결과

• 제안된 테스트 문제 생성기는 소스 작업과 타겟 작업 간의 유사도 분포를 명시적이고 사용자 정의 가능한 방식으로 지정할 수 있어, 이전 연구에서 고정되거나 수동으로 설정된 관계로 인한 한계를 극복한다.
• 기존의 테스트 문제들은 제한된 유사도 변동성을 보이며, 대부분의 소스 작업이 타겟 작업과 매우 높거나 매우 낮은 유사도를 보여, 소스 선택 알고리즘 간에 순위가 동점으로 나타나는 경향이 있다.
• 반면, 혼합된 유사도 분포를 갖는 제안된 STO 문제들은 소스 선택 방법 간에 뚜렷하고 통계적으로 유의미한 성능 차이를 드러내며, 더 효과적인 평가 환경임을 입증한다.
• 부분공간 정렬(SA), 이완된 순서 상관관계(ROC), 워싱어스타인 거리(WD) 등의 알고리즘은 새로운 벤치마크 세트에서 순위와 성능 일관성이 향상되어, 유사도 구조에 더 민감한 성능을 보임을 나타낸다.
• 제안된 프레임워크를 사용해 생성한 12개의 STO 문제로 구성된 벤치마크 세트는 광범위한 유사도 관계 스펙트럼을 성공적으로 포괄하여, 더 종합적이고 신뢰할 수 있는 알고리즘 평가를 가능하게 한다.
• 문제 생성기의 소스 코드는 https://github.com/XmingHsueh/STOP-G 에 공개되어 있어 재현성과 향후 확장성을 보장한다.