[논문 리뷰] Learning to Generate Genotypes with Neural Networks

Alexander W. Churchill, Siddharth Sigtia외 1명|arXiv (Cornell University)|2016. 04. 14.

Evolutionary Algorithms and Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 유전적 탐색을 위한 적응형 돌연변이 분포를 학습하기 위해 노이즈 제거 오토인코더(dA)와 신경 자동회귀 분포 추정기(NADE)를 사용하는 새로운 진화 알고리즘을 제안한다. 고품질의 해를 기반으로 온라인에서 신경망을 훈련시킴으로써 기존의 유전 알고리즘과 EDAs보다 더 효과적인 후손을 생성하며, MaxSat 및 HIFF와 같은 어려운 이산 문제에서 그 성능을 뛰어넘는다.

ABSTRACT

Neural networks and evolutionary computation have a rich intertwined history. They most commonly appear together when an evolutionary algorithm optimises the parameters and topology of a neural network for reinforcement learning problems, or when a neural network is applied as a surrogate fitness function to aid the evolutionary optimisation of expensive fitness functions. In this paper we take a different approach, asking the question of whether a neural network can be used to provide a mutation distribution for an evolutionary algorithm, and what advantages this approach may offer? Two modern neural network models are investigated, a Denoising Autoencoder modified to produce stochastic outputs and the Neural Autoregressive Distribution Estimator. Results show that the neural network approach to learning genotypes is able to solve many difficult discrete problems, such as MaxSat and HIFF, and regularly outperforms other evolutionary techniques.

연구 동기 및 목표

• 진화 알고리즘에서 유효한 빌딩 블록을 손상시키는 정적 유전 연산자의 한계를 해결하기 위해.
• 신경망이 유전적 탐색을 위한 효과적이고 데이터 기반의 돌연변이 분포를 학습할 수 있는지 탐색하기 위해.
• 유망한 해를 기반으로 신경 모델을 온라인으로 훈련시켜 어려운 조합 최적화 문제에서 수렴성과 해 품질을 향상시킬 수 있는지 조사하기 위해.
• 신경 생성 모델을 사용하여 추정 분포 알고리즘(EDAs)의 적용 범위를 실수형 및 혼합 정수 문제로 확장하기 위해.
• 신경 기반 EDA 프레임워크에서 전이 학습과 국소 탐색과의 융합 잠재력을 평가하기 위해.

제안 방법

• 고품질의 게놈을 기반으로 노이즈 제거 오토인코더(dA)를 훈련시어 탐색 공간의 압축되고 구조화된 표현을 학습한다.
• dA의 확률적 출력을 사용하여, 유망한 해의 인코딩된 구조에 따라 유도된 돌연변이를 생성한다.
• 신경 자동회귀 분포 추정기(NADE)를 사용하여 게놈의 결합 확률 분포를 자동회귀 방식으로 모델링한다.
• 양측 모델을 인구집단에서 최상의 개체들로부터 온라인으로 훈련시켜 탐색 분포의 적응형 학습을 가능하게 한다.
• 실수형 및 혼합 정수 문제의 경우, dA의 출력을 정규 분포의 평균으로 해석하고, NADE를 실수형 변형(RNADE)으로 확장한다.
• 신경 모델을 진화 루프에 통합하여 고정된 유전 연산자를 사용하는 대신, 훈련된 신경 모델에서 샘플링하여 후손을 생성한다.

실험 결과

연구 질문

• RQ1 신경망이 어려운 이산 최적화 문제에서 탐색 성능을 향상시키는 효과적이고 적응형 돌연변이 분포를 학습할 수 있는가?
• RQ2 신경 기반 EDA의 성능은 기존의 유전 알고리즘(GA)과 PBIL, BOA와 같은 확립된 EDAs보다 어떻게 비교되는가?
• RQ3 온라인 모델 훈련이 편향과 수렴성에 어떤 영향을 미치며, 주기적인 재훈련이 샘플 편향을 줄일 수 있는가?
• RQ4 신경 모델이 실수형 및 혼합 정수 최적화 문제로 일반화될 수 있는가? 이는 이산 EDAs를 넘어서는 확장이다.
• RQ5 유사한 문제 인스턴스 간 지식 전이를 얼마나 효과적으로 달성할 수 있는가? 동일한 훈련된 신경 모델을 사용할 수 있는가?

주요 결과

• 신경망 기반 진화 알고리즘이 MaxSat 및 HIFF를 포함한 여러 벤치마크 문제에서 기존의 표준 유전 알고리즘(GA)을 일관되게 능가한다.
• dA 기반 방법은 GA에 항상 앞서며, 이는 탐색 효율성과 해 품질에서 강력한 우위를 보임을 시사한다.
• NADE 기반 접근법은 특히 복잡하고 고차원적인 탐색 공간에서 PBIL 및 BOA보다 뛰어난 성능을 달성한다.
• 온라인 훈련은 모델 편향의 위험을 유발할 수 있으며, 예를 들어 특정 해 분할에 강한 선호를 보여 국소 최적점에 갇힐 수 있다.
• dA 출력을 정규 분포의 평균으로 해석하고 RNADE를 사용함으로써 실수형 및 혼합 정수 문제로 프레임워크를 확장할 수 있다.
• 초기 결과는 동일한 훈련된 신경 모델을 사용해 관련된 문제 인스턴스 간 전이 학습이 가능하며, 한 작업에서 훈련된 모델이 후속 작업의 성능을 가속화할 수 있음을 시사한다.