[논문 리뷰] A suite of diagnostic metrics for characterizing selection schemes

Jose Guadalupe Hernandez, Alexander Lalejini외 1명|arXiv (Cornell University)|2022. 04. 29.

Evolutionary Algorithms and Applications인용 수 11

한 줄 요약

이 논문은 진화 알고리즘 내 선택 기법의 성능을 특정 차원—집중적 탐색(편차가 있는지 여부), 다중 경로 탐색, 계곡을 횡단하는 탐색—에 대해 평가하기 위한 여덟 개인가 경량이며 목적에 맞춘 테스트 함수로 구성된 진단 도구인 DOSSIER를 소개한다. 주요 발견은 모든 지표에서 뛰어난 성능을 내는 단일 선택 기법이 존재하지 않으며, 렉시카스 선택은 계곡 횡단에서 실패했고, 피트니스 공유 기법만이 이 분야에서 유일하게 성공했으며, 토너먼트/절단 선택 기법은 탐색 능력을 희생하면서까지 집중적 탐색에 초점을 맞췄다. 이는 알고리즘 설계 및 선택 기법에 있어 핵심적인 상충 관계를 드러낸다.

ABSTRACT

Benchmark suites are crucial for assessing the performance of evolutionary algorithms, but the constituent problems are often too complex to provide clear intuition about an algorithm's strengths and weaknesses. To address this gap, we introduce DOSSIER ("Diagnostic Overview of Selection Schemes In Evolutionary Runs"), a diagnostic suite initially composed of eight handcrafted metrics. These metrics are designed to empirically measure specific capacities for exploitation, exploration, and their interactions. We consider exploitation both with and without constraints, and we divide exploration into two aspects: diversity exploration (the ability to simultaneously explore multiple pathways) and valley-crossing exploration (the ability to cross wider and wider fitness valleys). We apply DOSSIER to six popular selection schemes: truncation, tournament, fitness sharing, lexicase, nondominated sorting, and novelty search. Our results confirm that simple schemes (e.g., tournament and truncation) emphasized exploitation. For more sophisticated schemes, however, our diagnostics revealed interesting dynamics. Lexicase selection performed moderately well across all diagnostics that did not incorporate valley crossing, but faltered dramatically whenever valleys were present, performing worse than even random search. Fitness sharing was the only scheme to effectively contend with valley crossing but it struggled with the other diagnostics. Our study highlights the utility of using diagnostics to gain nuanced insights into selection scheme characteristics, which can inform the design of new selection methods.

연구 동기 및 목표

• 진화 알고리즘 내 선택 기법의 행동을 이해하기 위한 직관적이고 목적에 맞춘 진단 도구의 부족을 해결하기 위해.
• 복잡한 벤치마크 문제의 영향을 분리하기 위해, 피트니스 계곡, 다중 경로 탐색, 제약된 집중적 탐색과 같은 특정 탐색 공간 특성들을 분리하여 분석하기 위해.
• 집계된 벤치마크 성능을 넘어서 선택 기법 간 미세한 비교를 가능하게 하는 진단 프레임워크를 제공하기 위해.
• 기존 선택 기법의 능력에 대한 격차를 파악하고, 더 강력한 새로운 방법 설계를 안내하기 위해.
• 전통적인 벤치마크 세트의 대안으로서 빠르고 해석 가능하며 구성이 가능한, 선택 전략의 강점과 약점을 평가하기 위한 대안을 제공하기 위해.

제안 방법

• 집중적 탐색(편차 유무), 다중 경로 탐색, 계곡 횡단 탐색과 같은 특정 조합의 탐색 공간 특성을 각각 목표로 삼는 여덟 개의 수작업으로 제작된 진단 테스트 함수를 설계한다.
• 모든 진단에 대해 여섯 가지 널리 사용되는 선택 기법—절단, 토너먼트, 피트니스 공유, 렉시카스, 비지배적 정렬, 날것의 탐색—을 적용한다.
• 모든 진단에서 일관된 실험 설정(집단 크기, 돌연변이율, 차원 수)을 사용하여 비교 가능성을 확보한다.
• 성능 평가를 위해 50회의 반복 실험에서의 평균 성공률을 사용하며, 오차 막대는 최고에서 최악의 성능 변동을 나타낸다.
• 다양한 기법 간의 상충 관계를 시각화하기 위해 진단 프로파일을 생성한다. 이는 특정 문제 특성에서의 강점과 약점을 부각시킨다.
• 다양한 파라미터 설정을 가진 보조 반복 실험을 통해 결과의 강건성과 민감도를 평가한다.

실험 결과

연구 질문

• RQ1 좁은 기울기 집중적 탐색과 피트니스 계곡 횡단과 같은 고립되고 잘 정의된 탐색 공간 특성에 대해 다양한 선택 기법은 어떻게 성능을 내는가?
• RQ2 집중적 탐색과 탐색 능력이 독립적으로 테스트될 경우, 기존의 선택 기법들이 얼마나 잘 균형을 이루는가?
• RQ3 특히 깊은 피트니스 계곡이 존재할 경우, 어떤 선택 기법이 점점 더 복잡한 탐색 공간 복잡성에 대응하는 데 유연성을 보이는가?
• RQ4 선택 기법 간의 집중적 탐색과 탐색 능력 간의 상충 관계가 존재하는가? 이러한 상충 관계는 진단 프로파일을 통해 어떻게 시각화할 수 있는가?
• RQ5 진단 결과는 다수의 접근 방식의 강점을 조합하는 하이브리드 또는 개선된 선택 기법 설계에 어떻게 기여할 수 있는가?

주요 결과

• 토너먼트 및 절단 선택 기법은 집중적 탐색에 초점을 맞췄지만, 모든 탐색 과제에서 열악한 성능을 보였으며, 특히 계곡 횡단과 다중 경로 탐색에서 뚜렷하게 열세를 보였다.
• 렉시카스 선택 기법은 피트니스 계곡을 포함한 진단 외에는 중간 정도의 성능을 보였지만, 계곡을 횡단하는 진단에서는 랜덤 검색조차도 떨어지지 않는 성능을 보였다.
• 피트니스 공유 기법만이 피트니스 계곡 횡단 진단에서 의미 있는 진전을 이뤘지만, 순서 있는 집중적 탐색과 같은 다른 지표에서는 어려움을 겪었다.
• 비지배적 정렬 기법은 모순되는 목표를 관리하는 데 뛰어났지만, 기울기 집중적 탐색과 계곡 횡단에서는 약한 성능을 보였다.
• 날것의 탐색 기법은 예상대로 순수하게 탐색 중심이었으며, 집중적 탐색 능력이 전혀 없었다.
• 진단 프로파일은 각 기법 간에 명확히 겹치지 않는 강점을 보여주었으며, 이는 여러 문제를 동시에 해결하기 위해 하이브리드 또는 적응형 선택 전략이 필요하다는 점을 강조한다.