[논문 리뷰] Experience-based Optimization: A Coevolutionary Approach

Shengcai Liu, Ke Tang외 1명|arXiv (Cornell University)|2017. 03. 29.

Constraint Satisfaction and Optimization참고 문헌 27인용 수 6

한 줄 요약

이 논문은 동시에 해결사 성능을 최적화하고 어려운 학습 인스턴스를 선택하기 위해 해결사 집단과 인스턴스 집합 간의 반복적 공진화를 수행하는 공진화 프레임워크인 LiangYi를 제안한다. 10,000개의 TSP 인스턴스에 대한 실증 결과는 LiangYi로 훈련된 해결사가 ParHydra와 같은 최신 기법보다 유의미하게 뛰어난 성능을 보이며, 훈련 라운드 전반에 걸쳐 일관된 성능 향상을 보임을 보여준다.

ABSTRACT

This paper studies improving solvers based on their past solving experiences, and focuses on improving solvers by offline training. Specifically, the key issues of offline training methods are discussed, and research belonging to this category but from different areas are reviewed in a unified framework. Existing training methods generally adopt a two-stage strategy in which selecting the training instances and training instances are treated in two independent phases. This paper proposes a new training method, dubbed LiangYi, which addresses these two issues simultaneously. LiangYi includes a training module for a population-based solver and an instance sampling module for updating the training instances. The idea behind LiangYi is to promote the population-based solver by training it (with the training module) to improve its performance on those instances (discovered by the sampling module) on which it performs badly, while keeping the good performances obtained by it on previous instances. An instantiation of LiangYi on the Travelling Salesman Problem is also proposed. Empirical results on a huge testing set containing 10000 instances showed LiangYi could train solvers that perform significantly better than the solvers trained by other state-of-the-art training method. Moreover, empirical investigation of the behaviours of LiangYi confirmed it was able to continuously improve the solver through training.

연구 동기 및 목표

• 기존 방법이 해결사 훈련과 인스턴스 선택을 별개의 단계로 간주하지만, 이들이 강한 상호의존성을 가짐에도 불구하고 이러한 격차를 해소하기 위해.
• 문제 해결 경험의 누적을 통해 해결사가 지속적으로 향상될 수 있도록 하는 오프라인 훈련 프레임워크를 개발하기 위해.
• 해결사와 인스턴스 간의 공진화가 전통적인 훈련 방식보다 더 나은 일반화 능력과 성능을 낼 수 있는지 조사하기 위해.
• 다양한 이전 연구를 하나의 개념적 프레임워크로 통합함으로써 경험 기반 최적화(EBO)에 대한 통합적 시각을 제공하기 위해.
• 대규모 TSP 인스턴스 세트에서의 실증 평가를 통해 LiangYi의 효과성을 입증하기 위해.

제안 방법

• LiangYi는 해결사 집단과 학습 인스턴스 집단을 유지하며, 이들이 경쟁적 상호작용을 통해 공진화한다.
• 각 훈련 라운드에서 해결사 집단은 현재의 인스턴스 집단에서 평가되며, 해결사 성능에 기반해 가장 도전적인 인스턴스가 다음 라운드를 위해 선별된다.
• 해결사 집단은 진화 전략을 사용해 업데이트되며, 현재 인스턴스 세트에서 더 나은 성능을 내는 해결사들이 선별 압력을 받는다.
• 새로운 더 어려운 인스턴스들이 현재 해결사의 약점을 기반으로 생성되거나 선택되어 피드백 루프를 형성함으로써 지속적인 향상이 이뤄지도록 한다.
• LiangYi의 한 구현은 해결사 집단으로 히우리스틱 알고리즘의 포트폴리오를 사용하여 TSP(여행-salesman 문제)에 적용된다.
• 성능는 20회의 반복 평균을 통해 안정성을 확보한 시간 제한 내에서 해결된 인스턴스 비율인 적용도(Applicability)로 측정된다.

실험 결과

연구 질문

• RQ1 해결사와 학습 인스턴스 간의 공진화가 독립적인 훈련과 인스턴스 선택보다 더 나은 해결사 성능을 이끌 수 있는가?
• RQ2 점차 더 어려운 인스턴스를 반복적으로 식별하는 과정이 해결사 능력의 지속적 향상으로 이어지는가?
• RQ3 LiangYi는 unseen 인스턴스에서의 해결사 일반화 능력과 성능 측면에서 ParHydra와 같은 최신 훈련 방법보다 어떻게 비교되는가?
• RQ4 해결사가 문제 클래스 내 다양한 문제 인스턴스에 대해 얼마나 잘 적응하는가에 대해 공진화 과정이 얼마나 기여하는가?
• RQ5 공진화 프레임워크는 새로운 인스턴스 탐색과 해결사 향상의 이용 간에 효과적으로 균형을 유지할 수 있는가?

주요 결과

• LiangYi로 훈련된 해결사들은 ParHydra(최신 기법)로 훈련된 해결사들보다 10,000개의 TSP 인스턴스 테스트 세트에서 유의미하게 높은 적용도를 기록했다.
• 훈련 라운드가 증가함에 따라 해결사 집단(AP₁에서 AP₄까지)의 성능은 훈련 세트와 테스트 세트 양쪽에서 일관되고 단조롭게 향상되었다.
• IP₁ 테스트 세트에서 AP₄의 적용도는 0.6867에 도달했으며, 기준값 대비 17.98% 향상되었고, 모든 성능 향상 비율은 30% 이하였다.
• IP₂ 테스트 세트에서 AP₄의 적용도는 0.5667에 도달했으며, 기준값 대비 29.02% 향상되었고, 모든 향상 비율은 30% 이하였다.
• 실증 분석을 통해 LiangYi가 동적으로 더 어려운 인스턴스를 식별하고 집중함으로써 해결사를 지속적으로 향상시킨다는 것이 확인되었다.
• 공진화 메커니즘이 해결사 적응과 인스턴스 선택 간의 균형을 효과적으로 유지하여 고정된 학습 인스턴스 세트에 대한 과적합을 방지했다.