[논문 리뷰] Towards the Evolution of Multi-Layered Neural Networks: A Dynamic Structured Grammatical Evolution Approach

Filipe Assunção, Nuno Lourenço외 2명|arXiv (Cornell University)|2017. 06. 26.

Evolutionary Algorithms and Applications참고 문헌 21인용 수 11

한 줄 요약

이 논문은 다층 구조의 인공신경망(ANN)과 다중 출력 뉴런을 갖는 네트워크의 진화를 가능하게 하는 새로운 유전자 표현 방식인 동적 구조적 문법 진화(DSGE)를 제안한다. 기존의 문법 기반 접근 방식의 한계를 극복하며, 이는 뉴런 간 연결을 이전 레이어의 크기에 기반해 동적으로 네트워크 구조를 인코딩함으로써 깊이 있는 복잡한 ANN의 효과적 진화를 가능하게 한다. 이는 복잡한 데이터셋에서 단일 레이어 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Current grammar-based NeuroEvolution approaches have several shortcomings. On the one hand, they do not allow the generation of Artificial Neural Networks (ANNs composed of more than one hidden-layer. On the other, there is no way to evolve networks with more than one output neuron. To properly evolve ANNs with more than one hidden-layer and multiple output nodes there is the need to know the number of neurons available in previous layers. In this paper we introduce Dynamic Structured Grammatical Evolution (DSGE): a new genotypic representation that overcomes the aforementioned limitations. By enabling the creation of dynamic rules that specify the connection possibilities of each neuron, the methodology enables the evolution of multi-layered ANNs with more than one output neuron. Results in different classification problems show that DSGE evolves effective single and multi-layered ANNs, with a varying number of output neurons.

연구 동기 및 목표

• 기존의 문법 기반 신경진화 방법이 다층 구조의 ANN이나 다중 출력 뉴런을 갖는 네트워크를 진화시킬 수 없는 한계를 해결한다.
• 사전에 정의된 네트워크 깊이와 레이어 크기에 의존하지 않고, 진화 과정에서 동적이고 맥락 민감한 문법 규칙을 도입함으로써 이를 극복한다.
• 진화 중인 ANN의 구조적 복잡성에 적응하는 유전자 표현 방식을 개발한다. 특히 깊이 있는 아키텍처에 초점을 맞춘다.
• 구조적이고 확장 가능한 문법 프레임워크를 사용해 깊이와 폭이 가변적인 ANN, 다중 출력 뉴런을 포함한 네트워크의 진화를 가능하게 한다.
• DSGE가 수작업으로 설계된 네트워크와 이전의 진화 기반 방법보다 경쟁력 있는 성능을 보이는 정확하고 일반화 능력이 뛰어난 ANN을 진화시킬 수 있음을 입증한다.

제안 방법

• 구조적 문법 진화(SGE)의 변형인 동적 구조적 문법 진화(DSGE)를 도입하여, 현재 네트워크 구조에 따라 진화 가능한 동적 유전자 표현을 가능하게 한다.
• SGE에서 고정된 유전자 리스트를 사용하는 대신, 이전 레이어의 뉴런 수에 기반해 연결 가능성 정보를 인코딩하는 동적 규칙로 대체한다.
• 이전 레이어의 뉴런 수에 따라 달라지는 레이어 전용 맥락 인식 생성 규칙를 도입함으로써 재귀적이고 계층적인 네트워크 구조를 구축할 수 있도록 한다.
• 전체적으로 사전에 정의된 최대 깊이에 의존하지 않도록 유전자 표현을 탈중앙화함으로써, 각 하위 트리의 재귀 깊이를 개별적으로 정의한다.
• 모듈로 연산에 기반한 중복을 피하기 위해, 각 비종단 기호는 전개 선택지를 나타내는 정수 리스트와 연결된 문법 기반 매핑을 사용한다.
• 다중 출력 뉴런을 지원하기 위해 문법을 확장하여 다중 출력 노드와 소프트맥스와 같은 활성화 함수를 허용함으로써 다중 분류 작업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 DSGE는 단일 레이어에 국한된 기존의 문법 기반 접근 방식의 한계를 넘어서, 하나 이상의 은닉 레이어를 갖는 다층 구조의 ANN을 진화시킬 수 있는가?
• RQ2 DSGE는 다중 분류 작업에 요구되는 다중 출력 뉴런을 갖는 ANN의 진화를 가능하게 하는가?
• RQ3 DSGE로 진화된 ANN의 성능은 표준 GE 또는 SGE를 사용한 경우와 비교해 일반화 능력과 정확도 측면에서 어떻게 다른가?
• RQ4 DSGE는 깊이 있는 아키텍처의 증가된 탐색 공간 복잡성에 대응할 수 있는가? 이로 인해 수렴성이나 성능이 저하되지 않는가?
• RQ5 DSGE는 복잡한 데이터셋에서 백프로파게이션으로 미세조정된 수작업으로 설계된 네트워크보다 더 잘 일반화하는 ANN을 진화시킬 수 있는가?

주요 결과

• DSGE는 하나 이상의 은닉 레이어를 갖는 다층 구조의 ANN을 성공적으로 진화시켰으며, 이는 깊이 있는 네트워크 아키텍처의 복잡성을 효과적으로 탐색할 수 있음을 보여준다.
• 하나 이상의 은닉 레이어를 갖는 DSGE로 진화된 ANN의 성능은 대부분의 데이터셋에서 단일 은닉 레이어 모델과 통계적으로 유사하다. 이는 강건성과 확장성의 잠재력을 시사한다.
• 입력 차원 수가 높은 데이터셋에서는 깊이 있는 네트워크가 더 높은 표현 능력을 제공하므로, 더 깊은 아키텍처에서 성능 향상이 눈에 띄게 나타난다.
• 훈련 지표에서는 일부 케이스에서 통계적으로 유의미한 차이가 나타났지만, 테스트 지표에서는 그러한 차이가 관찰되지 않아 깊이 있는 네트워크가 잘 일반화됨을 시사한다.
• 유의미한 차이가 있을 경우, 성능 향상의 효과 크기는 항상 크며, 이는 고차원적이고 복잡한 문제에서 의미 있는 개선을 의미한다.
• 다층 아키텍처를 허용할 경우, 진화된 ANN의 뉴런 수와 은닉 레이어 수가 유의미하게 증가함을 확인하여, DSGE가 깊이 있는 아키텍처를 효과적으로 탐색할 수 있음을 확인한다.