[논문 리뷰] Dilated Recurrent Neural Networks

Shiyu Chang, Yang Zhang외 8명|arXiv (Cornell University)|2017. 10. 05.

Advanced Neural Network Applications인용 수 119

한 줄 요약

DilatedRNN를 도입한 다층 순환 신경망 아키텍처로, 확장된 스킵 연결과 지수적으로 증가하는 확장으로 더 적은 매개변수로 긴 범위 의존성을 포착하고 학습을 빠르게 한다; 이론적 메모리 용량 분석과 여러 작업에 걸친 실증 검증을 제공한다.

ABSTRACT

Learning with recurrent neural networks (RNNs) on long sequences is a notoriously difficult task. There are three major challenges: 1) complex dependencies, 2) vanishing and exploding gradients, and 3) efficient parallelization. In this paper, we introduce a simple yet effective RNN connection structure, the DilatedRNN, which simultaneously tackles all of these challenges. The proposed architecture is characterized by multi-resolution dilated recurrent skip connections and can be combined flexibly with diverse RNN cells. Moreover, the DilatedRNN reduces the number of parameters needed and enhances training efficiency significantly, while matching state-of-the-art performance (even with standard RNN cells) in tasks involving very long-term dependencies. To provide a theory-based quantification of the architecture's advantages, we introduce a memory capacity measure, the mean recurrent length, which is more suitable for RNNs with long skip connections than existing measures. We rigorously prove the advantages of the DilatedRNN over other recurrent neural architectures. The code for our method is publicly available at https://github.com/code-terminator/DilatedRNN

연구 동기 및 목표

• RNN으로 긴 시퀀스를 학습할 때의 문제들(복잡한 의존성, 소실/발산 그래디언트, 비효율적 학습)을 해결한다.
• 매개변수를 감소시키고 병렬화 가능한 계산을 가능하게 하는 확장된 순환 아키텍처를 제안한다.
• 이론 기반의 메모리 용량 척도를 제공하고 다른 순환 구조에 비해 이점을 보임을 증명한다.
• 장기 기억, pixel-by-pixel MNIST, 문자 수준 언어 모델링, 원시 파형 화자 식별에서 DilatedRNN를 실증적으로 검증한다.

제안 방법

• c_t^(l) = f(x_t^(l), c_{t-s^(l)}^(l))인 확장된 순환 스킵 연결을 도입하여 직접적인 c_{t-1}^(l) 의존성을 제거한다.
• 지수적으로 증가하는 확장 s^(l) = M^{l-1}로 다수의 확장된 순환 계층을 쌓아 DilatedRNN을 형성한다.
• 확장을 M^{l0}에서 시작하고 누락된 의존성을 보완하기 위해 선택적으로 1-by-M^{l0} 컨볼루션 최종 계층을 추가하여 DilatedRNN을 일반화한다.
• 정보 흐름의 시점 간 흐름을 평가하기 위한 메모리 용량 지표로 평균 순환 길이(mean recurrent length)를 정의하고 사용한다.
• 노드당 순환 간선 수로 매개변수 효율성을 비교하고 N_r = 1 제약하에서 DilatedRNN가 평균 순환 길이를 최소화함을 증명한다.
• 메모리 용량 및 효율성의 이점을 강조하기 위해 dilated CNNs 및 Clockwork RNNs와의 관계를 논의한다.

실험 결과

연구 질문

• RQ1 표준 RNN 및 dilated CNN에 비해 DilatedRNN 아키텍처가 긴 시퀀스에서 메모리 용량과 학습 효율성을 향상시키는가?
• RQ2 지수적으로 증가하는 확장이 매개변수 효율성을 유지하면서 다중 스케일의 시간 모델링을 제공할 수 있는가?
• RQ3 다른 아키텍처와 비교하여 DilatedRNN의 평균 순환 길이가 시간 구간에 걸친 메모리 용량을 어떻게 계량하는가?
• RQ4 DilatedRNN가 장기 기억, pixel-by-pixel MNIST, 언어 모델링, 원시 파형 화자 식별에서 어떤 실증적 이득을 달성하는가?

주요 결과

• DilatedRNN은 매개변수 수를 줄이고 학습 효율성을 높이면서 긴 시퀀스 작업에서 최첨단 성능과 일치한다.
• DilatedRNN은 장기 기억 및 잡음이 섞인 시퀀스 작업에서 기본 RNN, LSTM, GRU에 비해 상당한 개선을 보여준다.
• 계층 간 지수적 확장은 다중 스케일 시간 학습을 가능하게 하고 긴 거리 의존성 포착 능력을 향상시킨다.
• 제안된 평균 순환 길이는 이론적으로 근거 있는 메모리 용량 지표를 제공하며 유사한 매개변수 예산 하에서 DilatedRNN이 일반적인 skip RNN보다 더 나은 메모리 효율성을 제공함을 보인다.
• dilated CNN과 비교할 때, DilatedRNN은 진정한 순환 연결로 인해 수용 영역을 넘는 메모리 이점을 가져 더 긴 기억을 가능하게 한다.
• copy memory, MNIST pixel-by-pixel classification, Penn Treebank language modeling, VCTK speaker identification과 같은 작업에서 DilatedRNN 변형은 종종 기저 모델을 능가하거나 일치하면서도 훨씬 적은 매개변수를 사용한다.