[논문 리뷰] A Theoretical Framework of Approximation Error Analysis of Evolutionary Algorithms

Jun He, Yu Chen외 1명|arXiv (Cornell University)|2018. 10. 26.

Metaheuristic Optimization Algorithms Research참고 문헌 22인용 수 4

한 줄 요약

이 논문은 이질적 최적화를 위한 진화 알고리즘(EAs)에서의 근사 오차 분석을 위한 이론적 프레임워크를 제안한다. 이는 EAs를 동질적 마르코프 체인으로 모델링하여, 조르당 표준형과 셸루의 삼각화를 사용한 정확한 표현식을 도출하고, 수렴 속도 분석 및 보조 행렬 반복 기법을 통해 상한을 도출함으로써, 경험적 적합도 값을 넘어서는 엄밀한 성능 평가가 가능하게 한다.

ABSTRACT

In the empirical study of evolutionary algorithms, the solution quality is evaluated by either the fitness value or approximation error. The latter measures the fitness difference between an approximation solution and the optimal solution. Since the approximation error analysis is more convenient than the direct estimation of the fitness value, this paper focuses on approximation error analysis. However, it is straightforward to extend all related results from the approximation error to the fitness value. Although the evaluation of solution quality plays an essential role in practice, few rigorous analyses have been conducted on this topic. This paper aims at establishing a novel theoretical framework of approximation error analysis of evolutionary algorithms for discrete optimization. This framework is divided into two parts. The first part is about exact expressions of the approximation error. Two methods, Jordan form and Schur's triangularization, are presented to obtain an exact expression. The second part is about upper bounds on approximation error. Two methods, convergence rate and auxiliary matrix iteration, are proposed to estimate the upper bound. The applicability of this framework is demonstrated through several examples.

연구 동기 및 목표

• 경험적 실무와 이론적 분석 사이의 격차를 메우기 위해 진화 알고리즘에서의 근사 오차 분석을 위한 엄밀한 이론적 기초를 확립하는 것.
• 해결 품질의 시간에 따른 수학적 분석을 가능하게 하기 위해 진화 알고리즘을 동질적 마르코프 체인으로 모델링하는 것.
• 특히 엘리티스트 EAs에 대해 제너레이션 $ t $ 에서의 기대 근사 오차 $ e^{[t]} $ 를 위한 정확한 표현식을 도출하는 것.
• 정확한 표현식이 불가능한 경우에도 일반적이고 엘리티스트 EAs에 적용 가능한 $ e^{[t]} $ 의 상한 추정 기법을 개발하는 것.
• 구체적인 예시를 통한 프레임워크의 적용 가능성을 입증하는 것. 예: (1+1) EA 및 무작위 탐색 과정.

제안 방법

• 해결 품질 수준을 나타내는 상태를 갖는 전이 행렬 $ \mathbf{P} $ 를 가진 동질적 마르코프 체인으로 EAs를 모델링한다.
• 조르당 표준형과 셸루의 삼각화를 사용하여 $ e^{[t]} $ 의 정확한 표현식을 유도하며, 이는 $ e^{[t]} = \sum_{i=1}^{k} \sum_{m=1}^{L_i} c_{i_m} \binom{t}{L_i - m + 1} \lambda_i^{t - m + 1} $ 로 표현된다.
• 수렴 속도 분석을 적용하여 $ e^{[t]} \leq c(\lambda_{\text{max}} + \epsilon)^t $ 를 도출하며, 여기서 $ \lambda_{\text{max}} $ 는 전이 행렬의 스펙트럴 반경이다.
• 상한을 더욱 날카롭게 하기 위해 보조 행렬 반복 기법과 힘 인자(power factors)를 조합하여 상삼각 전이 행렬에 대해 적용: $ e^{[t]} \leq \sum_{i=1}^{L} c_i(\lambda_i + \epsilon_i)^t $.
• 근사 오차를 $ e^{[t]} = \mathbb{E}[|f(X^{[t]}) - f_{\text{opt}}|] $ 로 정의하고, 행렬 분해 기법을 사용하여 시간에 따른 변화를 분석한다.
• 고유값 분해와 행렬 거듭제곱 분석을 활용하여 오차 동역학을 전이 행렬의 고유값과 계수로 표현한다.

실험 결과

연구 질문

• RQ1 제너레이션 $ t $ 에서 진화 알고리즘의 기대 근사 오차 $ e^{[t]} $ 를 위한 정확한 해석적 표현식은 무엇인가?
• RQ2 일반적인 EAs에 대해 근사 오차의 수렴 속도를 이론적으로 어떻게 상한으로 제약할 수 있는가?
• RQ3 행렬 분해 및 반복 기법을 사용하여 엘리티스트 EAs에 대해 $ e^{[t]} $ 의 더 날카운 상한을 도출할 수 있는가?
• RQ4 대각화 가능성 또는 삼각화와 같은 행렬 성질이 오차 표현식의 구조에 어떤 영향을 미치는가?
• RQ5 전이 행렬의 스펙트럴 반경과 근사 오차의 장기적 감쇠 속도 사이의 관계는 무엇인가?

주요 결과

• 정확한 표현식은 $ e^{[t]} = \sum_{i=1}^{k} \sum_{m=1}^{L_i} c_{i_m} \binom{t}{L_i - m + 1} \lambda_i^{t - m + 1} $ 로 유도되며, 여기서 $ \lambda_i $ 는 축소된 전이 행렬 $ \mathbf{R} $ 의 고유값이다.
• 전이 행렬이 대각화 가능한 경우, 표현식은 $ e^{[t]} = \sum_{i=1}^{L} c_i \lambda_i^t $ 로 단순화되어 고유값 기반 분석이 직접 가능해진다.
• 수렴 속도 방법을 통해 상한 $ e^{[t]} \leq c(\lambda_{\text{max}} + \epsilon)^t $ 이 도출되며, 이는 모든 EAs에 대해 유효하며 $ \lambda_{\text{max}} $ 는 $ \mathbf{R} $ 의 스펙트럴 반경이다.
• 상삼각 전이 행렬의 경우, 보조 행렬 반복 기법을 통해 더 날카운 상한 $ e^{[t]} \leq \sum_{i=1}^{L} c_i(\lambda_i + \epsilon_i)^t $ 이 도출되며, 여기서 $ \epsilon_i $ 는 임의로 작게 만들 수 있다.
• (1+1) EA 예시에서는 단일 비트 플립 해에서 시작할 경우 $ e^{[t]} \leq [f(n) - f(n-1)](1 - \frac{1}{ne})^t $ 이 도출된다.
• 무작위 탐색 과정에 대한 프레임워크 적용 사례에서, 두 개의 개체로 이루어진 초기 분포 하에 $ e^{[t]} \leq 2[f(n)-f(n-1)](1 - \frac{1}{ne})^t + [f(n)-f(n-2)](1 - \frac{2}{ne})^t $ 이 도출된다.