[논문 리뷰] From Nodes to Networks: Evolving Recurrent Neural Networks

Aditya Rawal and Risto Miikkulainen|arXiv (Cornell University)|2018. 03. 12.

Evolutionary Algorithms and Applications참고 문헌 24인용 수 29

한 줄 요약

이 논문은 트리 기반 인코딩을 사용하는 진화적 방법을 제안하여 표준 LSTM 아키텍처를 초월해 향상된 순환 신경망 아키텍처를 자동으로 발견한다. 다중 순환 경로와 메모리 셀을 갖춘 노드를 진화시켜 언어 모델링 성능을 크게 향상시키며, 검색을 가속화하고 새로운 아이디어를 촉진하기 위해 보조 LSTM을 사용한다.

ABSTRACT

Gated recurrent networks such as those composed of Long Short-Term Memory (LSTM) nodes have recently been used to improve state of the art in many sequential processing tasks such as speech recognition and machine translation. However, the basic structure of the LSTM node is essentially the same as when it was first conceived 25 years ago. Recently, evolutionary and reinforcement learning mechanisms have been employed to create new variations of this structure. This paper proposes a new method, evolution of a tree-based encoding of the gated memory nodes, and shows that it makes it possible to explore new variations more effectively than other methods. The method discovers nodes with multiple recurrent paths and multiple memory cells, which lead to significant improvement in the standard language modeling benchmark task. The paper also shows how the search process can be speeded up by training an LSTM network to estimate performance of candidate structures, and by encouraging exploration of novel solutions. Thus, evolutionary design of complex neural network structures promises to improve performance of deep learning architectures beyond human ability to do so.

연구 동기 및 목표

• 25년 동안 표준 LSTM 아키텍처가 거의 변화하지 않은 순환 네트워크 아키텍처 설계의 정체를 해결하기 위해.
• 더 효과적인 순환 노드 아키텍처를 자동으로 탐색하기 위한 진화 기반 방법을 탐구하기 위해.
• 새로운 아키텍처 구성으로 언어 모델링과 같은 순차적 작업에서 성능을 향상시키기 위해.
• 학습된 성능 예측기로 고성능 아키텍처 탐색을 가속화하기 위해.

제안 방법

• 게이팅 메모리 노드의 아키텍처를 표현하기 위해 트리 기반 인코딩을 사용하여 구조적 변형을 체계적으로 탐색한다.
• 진화 알고리즘을 사용해 인코딩된 노드 설계 공간을 탐색하며, 다중 순환 경로와 메모리 셀을 갖춘 설계를 선호한다.
• 후보 노드 아키텍처의 성능을 예측하기 위해 보조 LSTM을 훈련시어 검색 과정에서 비용이 많이 드는 훈련 평가를 줄인다.
• 다양하고 중복되지 않는 아키텍처 탐색을 장려하기 위해 새로운 아이디어를 촉진하는 메커니즘을 통합한다.
• 예측된 성능와 구조적 다양성에 기반해 선택, 변이, 교차를 통해 노드 구조를 진화시킨다.
• 표준 언어 모델링 벤치마크에서 진화된 아키텍처를 평가하여 성능 향상 여부를 검증한다.

실험 결과

연구 질문

• RQ1 트리 기반 인코딩을 사용한 진화적 탐색이 표준 LSTMs를 능가하는 순환 노드 아키텍처를 발견할 수 있는가?
• RQ2 학습된 성능 예측기가 고성능 RNN 아키텍처 탐색을 얼마나 효과적으로 가속화하는가?
• RQ3 다중 메모리 셀이나 다중 순환 경로와 같은 아키텍처 특징들이 진화 과정에서 어떻게 나타나며 성능 향상에 기여하는가?
• RQ4 구조적 다양성 장려가 효과적인 아키텍처 탐색에 얼마나 기여하는가?
• RQ5 진화된 아키텍처가 탐색 공간을 초월해 표준 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• 진화된 노드 아키텍처는 기준 LSTMs에 비해 표준 언어 모델링 벤치마크에서 뚜렷한 성능 향상을 보였다.
• 다중 순환 경로와 다중 메모리 셀을 갖춘 아키텍처가 일관되게 발견되었으며 성능 향상에 기여했다.
• 성능 예측 LSTM의 사용으로 검색 과정에서 필요한 전체 훈련 평가 수가 감소하여 탐색 속도가 빨라졌다.
• 탐색 과정에 다양성 장려 기법을 포함시켜 더 다양한 효과적인 아키텍처를 발견할 수 있었다.
• 진화적 방법은 인간이 설계한 LSTMs를 뛰어넘는 아키텍처를 성공적으로 발견하여 자동화된 신경망 아키텍처 탐색이 인간의 직관을 초월할 잠재력을 보여주었다.