[논문 리뷰] Benefits of Depth for Long-Term Memory of Recurrent Networks

Yoav Levine, Or Sharir외 1명|arXiv (Cornell University)|2017. 10. 25.

Parallel Computing and Optimization Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 순환 신경망에서 장기 기억 능력을 측정하기 위한 '시작-종료 분리 질량'을 도입하며, 깊이 있는 RNN이 장거리 시간적 의존성을 표현하는 데에 지수적으로 슈퍼리어한 성능을 보임을 증명한다. 양자 텐서 네트워크 도구를 사용해 순환 산술 회로를 분석함으로써, 깊이가 장기간 시간 스케일에서 순차적 데이터를 모델링하는 데 있어 표현력의 기본적인 능력을 제공하는 것으로 규명된다.

ABSTRACT

The key attribute that drives the unprecedented success of modern Recurrent Neural Networks (RNNs) on learning tasks which involve sequential data, is their ever-improving ability to model intricate long-term temporal dependencies. However, an adequate measure of RNNs long-term memory capacity is lacking, and thus formal understanding of their ability to correlate data throughout time is limited. Though depth efficiency in convolutional networks is well established, it does not suffice in order to account for the success of deep RNNs on data of varying lengths, and the need to address their `time-series expressive power' arises. In this paper, we analyze the effect of depth on the ability of recurrent networks to express correlations ranging over long time-scales. To meet the above need, we introduce a measure of the information flow across time supported by the network, referred to as the Start-End separation rank. This measure essentially reflects the distance of the function realized by the recurrent network from a function that models no interaction whatsoever between the beginning and end of the input sequence. We prove that deep recurrent networks support Start-End separation ranks which are exponentially higher than those supported by their shallow counterparts. Thus, we establish that depth brings forth an overwhelming advantage in the ability of recurrent networks to model long-term dependencies. Such analyses may be readily extended to other RNN architectures of interest, e.g. variants of LSTM networks. We obtain our results by considering a class of recurrent networks referred to as Recurrent Arithmetic Circuits (RACs), which merge the hidden state with the input via the Multiplicative Integration operation. Finally, we make use of the tool of quantum Tensor Networks to gain additional graphic insight regarding the complexity brought forth by depth in recurrent networks.

연구 동기 및 목표

• 순환 신경망의 장기 기억 능력에 대한 공식적 측정 기준이 부족한 문제를 해결하기 위해.
• 변수 길이의 시퀀스를 포함한 순차적 작업에서 깊이 있는 RNN이 얕은 RNN보다 우수한 성능을 내는 이유를 이해하기 위해.
• 시퀀스 내 먼 시간 단계들 간의 상관관계를 모델링하는 데 있어 RNN의 표현력을 정량화하기 위해.
• 기존의 컨volutional 네트워크에서 알려진 바를 넘어서 순환 아키텍처에서 깊이 효율성에 대한 이론적 기반을 마련하기 위해.
• 제안된 측정법과 프레임워크를 통해 LSTM과 같은 실용적 RNN 변종으로 분석를 확장하기 위해.

제안 방법

• 논문은 순환 신경망에서 시퀀스의 시작과 끝 사이의 정보 흐름을 공식적으로 측정하기 위해 '시작-종료 분리 질량'을 도입한다.
• 숨은 상태가 입력과 곱셈 통합을 통해 결합되는 방식으로 순환 신경망을 순환 산술 회로(RACs)로 모델링한다.
• 이론적 분석을 통해 분리 질량이 깊이에 따라 지수적으로 증가하는 반면, 얕은 네트워크에서는 다항식 수준에 머무름을 입증한다.
• 양자 텐서 네트워크를 활용해 깊이에 의해 유도되는 복잡성에 대한 시각적이고 구조적인 통찰을 제공한다.
• RAC 공식화를 적응시킴으로써 다른 RNN 아키텍처, 특히 LSTM 변종으로의 분석 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 순환 신경망의 장기 기억 능력을 어떻게 공식적으로 측정할 수 있는가?
• RQ2 깊이가 RNN에서 장거리 시간적 의존성을 가능하게 하는 데에 어떤 정량적 이점이 있는가?
• RQ3 왜 깊이 있는 RNN이 변수 길이의 순차적 작업에서 얕은 RNN보다 뛰어난 성능을 내는가?
• RQ4 장기간 시간 스케일을 아우르는 순환 아키텍처에 대해 통합된 표현력 측정법을 정의할 수 있는가?
• RQ5 RACs의 곱셈 통합 메커니즘이 장기간 시퀀스에서 정보 흐름을 어떻게 향상시키는가?

주요 결과

• 깊이 있는 RNN의 시작-종료 분리 질량은 네트워크의 깊이에 따라 지수적으로 증가하며, 이는 장거리 의존성을 모델링하는 데 있어 근본적인 이점임을 시사한다.
• 반면에, 얕은 RNN은 분리 질량의 다항식 증가에 국한되어 있어 먼 시간 단계들 간의 상관관계를 맺는 능력이 제한된다.
• 깊은 네트워크에서의 지수적 분리 질량은 복잡한 시간적 상관관계를 모델링하는 데 있어 표현력의 급격한 증가를 암시한다.
• 순환 산술 회로의 사용은 RNN의 정보 흐름과 깊이 효율성에 대한 정밀한 이론적 분석을 가능하게 한다.
• 양자 텐서 네트워크 표현은 순환 아키텍처에서 깊이에 의해 유도되는 복잡성에 대한 시각적이고 구조적인 직관을 제공한다.