[논문 리뷰] A Flexible Approach to Automated RNN Architecture Generation

Martin Schrimpf, Stephen Merity외 2명|arXiv (Cornell University)|2017. 12. 20.

Topic Modeling참고 문헌 19인용 수 11

한 줄 요약

이 논문은 유연하고 자동화된 순환 신경망(RNN) 아키텍처 생성을 위한 도메인 특화 언어(DSL)를 제안하며, 무작위 탐색과 강화 학습을 통해 기존에 알려지지 않은 비직관적인 RNN 아키텍처를 발견할 수 있도록 한다. 이 DSL은 임의의 깊이와 너비를 지원하며, 표준 및 비표준 연산자(예: 삼각함수, 레이어 정규화)를 포함하고, 인간의 직관을 초월함에도 불구하고 언어 모델링 및 기계 번역 작업에서 베이스라인 성능을 뛰어넘는 아키텍처를 생성한다.

ABSTRACT

The process of designing neural architectures requires expert knowledge and extensive trial and error. While automated architecture search may simplify these requirements, the recurrent neural network (RNN) architectures generated by existing methods are limited in both flexibility and components. We propose a domain-specific language (DSL) for use in automated architecture search which can produce novel RNNs of arbitrary depth and width. The DSL is flexible enough to define standard architectures such as the Gated Recurrent Unit and Long Short Term Memory and allows the introduction of non-standard RNN components such as trigonometric curves and layer normalization. Using two different candidate generation techniques, random search with a ranking function and reinforcement learning, we explore the novel architectures produced by the RNN DSL for language modeling and machine translation domains. The resulting architectures do not follow human intuition yet perform well on their targeted tasks, suggesting the space of usable RNN architectures is far larger than previously assumed.

연구 동기 및 목표

• 기존의 자동화된 RNN 아키텍처 탐색 방법의 한계를 해결하기 위해, 특히 영향력과 구성 요소의 다양성 측면에서 제약이 있는 바.
• 높은 표현력을 지닌 도메인 특화 언어(DSL)를 사용하여 인간이 설계한 패tern을 초월한 새로운 RNN 아키텍처를 탐색할 수 있도록 하기 위해.
• 자동 탐색을 통해 생성된 아키텍처—특히 비표준 연산자를 사용한 아키텍처—가 실제 자연어 처리(NLP) 작업에서 뛰어난 성능을 내는지 탐구하기 위해.
• 두 가지 후보 생성 전략의 효과성 평가: 랭킹 함수를 통한 무작위 탐색과 강화 학습

제안 방법

• RNN 아키텍처를 단일 연산자(예: ReLU, Sigmoid), 이항 연산자(예: Add, Mult), 삼항 연산자(예: Gate3)로 구성된 트리 형태로 표현하는 도메인 특화 언어(DSL)를 정의한다.
• DSL은 임의의 깊이와 너비를 지원하며, 중간 노드의 재사용을 허용하고, 노드 번호를 통한 장기 기억 상태(c_t) 모델링이 가능하다.
• 숨은 상태의 동적 변화를 시간에 따라 모델링함으로써 성능 예측을 수행하기 위해, 재귀 신경망 기반의 랭킹 함수가 DSL 표현을 전개한다.
• 두 가지 후보 생성 전략을 사용한다: (1) 랭킹 함수에 의해 안내되는 무작위 탐색, (2) REINFORCE를 사용한 강화 학습을 통한 아키텍처 제안 향상.
• 생성기에서 후보 아키텍처가 생성되고, 이는 최종 작업(예: 언어 모델링, 기계 번역)에서 컴iles되고 평가되며, 이 결과는 랭킹 함수와 생성기의 재학습에 피드백으로 제공된다.
• 이 프레임워크는 사인 곡선, 나눗셈, 레이어 정규화와 같은 비표준 구성 요소를 지원하여 기존 RNN 구성 요소를 초월한 탐색 공간을 확장한다.

실험 결과

연구 질문

• RQ1 표현력이 뛰어난 DSL이 언어 모델링 및 기계 번역 작업에서 LSTM, GRU와 같은 표준 모델을 뛰어넘는 새로운 RNN 아키텍처의 자동 탐색을 가능하게 할 수 있는가?
• RQ2 비표준 연산자를 사용한 자동 탐색으로 생성된 아키텍처가 인간의 직관을 초월함에도 불구하고, 얼마나 잘 성능을 내는가?
• RQ3 랭킹 함수를 통한 무작위 탐색과 강화 학습 중 어느 것이 더 효과적으로 뛰어난 RNN 아키텍처를 탐색하는가?
• RQ4 생성된 아키텍처의 성능은 데이터셋 간에 일반화되는가, 아니면 학습 데이터 크기와 분포에 민감한가?
• RQ5 손실과 BLEU 점수와 같은 표준 지표들이 질적 모델 성능과 얼마나 잘 상관되는가?

주요 결과

• DSL은 Multi30k 번역 데이터셋에서 LSTM 베이스라인(34.05)을 뛰어넘는 테스트 BLEU 점수 36.53을 기록한 새로운 RNN 아키텍처를 성공적으로 생성하였다.
• 레이어 정규화를 포함한 다섯 단계의 중첩 Gate3 아키텍처는 Multi30k에서 검증 손실 5.66과 테스트 BLEU 36.35를 기록하여 LSTM 베이스라인을 초월하였다.
• 더 큰 IWSLT’16 데이터셋에서는 최고의 생성 아키텍처가 테스트 BLEU 23.04를 기록하여 LSTM 베이스라인(24.39)을 略로 뛰어넘었지만, 데이터셋 간 성능이 일관되지 않았다.
• 사인 곡선과 나눗셈과 같은 비표준 구성 요소를 포함한 아키텍처는 뛰어난 성능을 보였으며, 이는 사용 가능한 RNN 아키텍처의 탐색 공간이 이전에 상상한 것보다 훨씬 넓다는 것을 시사한다.
• 검증 손실과 BLEU 점수 간 상관관계는 최적의 수준이 아니었으며, 한 지표에서는 높은 점수를 기록했지만 다른 지표에서는 낮은 점수를 기록한 모델들이 존재하여 현재 평가 지표의 한계를 드러냈다.
• 강화 학습 에이전트와 랭킹 함수는 시간이 지남에 따라 향상되었으며, 평가 결과 피드백을 통해 생성기가 점점 더 나은 아키텍처를 제안하도록 학습되었다.