[논문 리뷰] Gray-box optimization and factorized distribution algorithms: where two worlds collide

Roberto Santana|arXiv (Cornell University)|2017. 07. 11.

Error Correcting Code Techniques참고 문헌 32인용 수 9

한 줄 요약

이 논문은 문제 구조를 어떻게 이용하여 진화 알고리즘의 효율성을 향상시키는지 분석함으로써 그레이박스 최적화와 인수분해 분포 알고리즘(FDAs)을 연결한다. 두 가지 경쟁적인 분석 프레임워크인 스키마 기반과 인수분해 기반을 식별하며, 유효성, 동적 문제, 신경망 모델링 분야에서의 열린 과제들을 강조한다.

ABSTRACT

The concept of gray-box optimization, in juxtaposition to black-box optimization, revolves about the idea of exploiting the problem structure to implement more efficient evolutionary algorithms (EAs). Work on factorized distribution algorithms (FDAs), whose factorizations are directly derived from the problem structure, has also contributed to show how exploiting the problem structure produces important gains in the efficiency of EAs. In this paper we analyze the general question of using problem structure in EAs focusing on confronting work done in gray-box optimization with related research accomplished in FDAs. This contrasted analysis helps us to identify, in current studies on the use problem structure in EAs, two distinct analytical characterizations of how these algorithms work. Moreover, we claim that these two characterizations collide and compete at the time of providing a coherent framework to investigate this type of algorithms. To illustrate this claim, we present a contrasted analysis of formalisms, questions, and results produced in FDAs and gray-box optimization. Common underlying principles in the two approaches, which are usually overlooked, are identified and discussed. Besides, an extensive review of previous research related to different uses of the problem structure in EAs is presented. The paper also elaborates on some of the questions that arise when extending the use of problem structure in EAs, such as the question of evolvability, high cardinality of the variables and large definition sets, constrained and multi-objective problems, etc. Finally, emergent approaches that exploit neural models to capture the problem structure are covered.

연구 동기 및 목표

• 그레이박스 최적화와 FDAs에서 사용되는 두 가지 상이한 분석 프레임워크인 스키마 기반과 인수분해 기반의 알고리즘 행동 설명 방식을 식별하고 조율한다.
• 특히 그래픽 모델과 확률적 표현을 통해 문제 구조를 이용하는 진화 알고리즘 분야의 기존 연구를 검토한다.
• 유효성, 높은 변수 기수, 제약 조건이 있는 문제 및 다목적 문제, 동적 피트니스 함수와 같은 열린 과제를 탐색한다.
• 신경망 모델을 활용한 새로운 접근 방식이 EAs에서 문제 구조를 포착하는 데 어떻게 기여할 수 있는지 조사한다.
• 특히 국소 탐색과 최적 혼합을 통한 하이브리드화를 통해 그레이박스 최적화와 추정 분포 알고리즘(EDAs) 간의 수렴 가능성을 탐구한다.

제안 방법

• 그레이박스 최적화와 FDAs의 형식 체계, 연구 질문, 결과를 대조 분석하여 공통된 기초 원리를 식별한다.
• 화이트-그레이-블랙(WGB) 분류 체계를 사용하여 문제 정보 가용성과 알고리즘 설계에 미치는 영향을 정교화한다.
• 초평면 기반과 인수분해 기반의 형식 체계를 분석하여 분해 가능한 최적화 문제에서 문제 구조가 어떻게 이용되는지 보여준다.
• 그레이박스 국소 탐색(HBHC 등)과 모델 구축 EAs(P3 등)를 융합한 하이브리드 접근 방식을 검토하며 성능 향상을 강조한다.
• 복잡하거나 알려지지 않은 문제 경로에서 문제 구조를 포착하는 데 있어 신경 모델이 새로운 도구로 어떻게 활용될 수 있는지 분석한다.
• 모델 학습이 동적 함수에 적응하는 데서 어떤 역할을 하는지와, 구조적 모델링을 통해 유효성을 편향시킬 수 있는 잠재력을 조사한다.

실험 결과

연구 질문

• RQ1 스키마 기반과 인수분해 기반의 진화 알고리즘 행동 기술 방식은 어떻게 다를까? 서로 갈등하거나 융합하는 방식은 무엇인가?
• RQ2 문제 구조가 그래픽 모델로 표현될 경우, 전통적인 히وري스틱 또는 표현 기반 방법을 초월하여 EAs의 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 데이터에서 학습하는 모델 기반 EAs는 정적 구조적 가정에 의존하는 그레이박스 최적화보다 동적 피트니스 함수에 더 효과적으로 적응할 수 있는가?
• RQ4 문제 구조는 EAs에서 유효성의 진화를 어떻게 가능하게 하거나 편향시키는가?
• RQ5 어떻게 하면 복잡하거나 잘 이해되지 않는 최적화 경로에서 문제 구조를 포착하고 활용할 수 있도록 신경 모델을 EAs에 효과적으로 통합할 수 있는가?

주요 결과

• 그레이박스 최적화와 FDAs는 모두 문제 구조를 이용하지만, 근본적으로 다른 분석 프레임워크에 의존한다: 스키마 분석 대비 인수분해 기반 모델링으로, 이는 알고리즘 행동에 대한 해석에서 종종 충돌한다.
• 다른 형식 체계에도 불구하고 두 접근 방식은 그래픽 모델을 통한 변수 상호작용 표현을 공유하는 공통된 기초 원리를 가지고 있으나, 비교 연구에서 자주 간과된다.
• 그레이박스 국소 탐색(HBHC 등)과 모델 구축 EAs(P3 등)를 융합한 하이브리드 알고리즘이 단독으로 사용되는 그레이박스 방법보다 뛰어난 성능을 보이며, 특히 피트니스 함수의 평탄한 영역이 존재할 경우 두드러진다.
• 데이터에서 학습하는 모델 기반 EAs는 정적 그레이박스 접근 방식보다 동적 함수에 더 뛰어난 적응성을 보이며, 실세계 적용에서의 핵심 이점으로 여겨진다.
• 신경 모델을 EAs에 통합하는 것은 복잡하고 알려지지 않은 문제 구조를 포착하는 데 유망한 길을 제시하지만, 이들의 이론적 및 실험적 기초는 아직 개발이 부족하다.
• 구조적 지식을 통해 유효성을 모델링하고 편향시킬 수 있는지 여부와 방법은 여전히 열려 있으며, EAs에서 구조와 유효성 간의 메커니즘을 둘러싼 합의가 없다.