[논문 리뷰] Understanding Recurrent Neural Architectures by Analyzing and Synthesizing Long Distance Dependencies in Benchmark Sequential Datasets

Abhijit Mahalunkar, John D. Kelleher|arXiv (Cornell University)|2018. 10. 06.

Neural Networks and Applications참고 문헌 48인용 수 9

한 줄 요약

이 논문은 종속성 감쇠 곡선을 사용하여 순차적 데이터셋 내 장거리 종속성(LDD)을 분석하고 생성하는 프레임워크를 소개한다. 이는 LDD 복잡도가 어휘 크기, 데이터셋 크기, 상호작용하는 기호 수, 기호 간 거리에 따라 달라진다는 것을 드러낸다. 고의로 생성한 Strictly k-Piecewise 언어를 통해 저자들은 종속성 감쇠 분석이 더 나은 초파rameter 선택을 가능하게 하고, 순차적 MNIST 및 Enwik8와 같은 표준 벤치마크의 한계를 드러낸다.

ABSTRACT

In order to build efficient deep recurrent neural architectures, it is essential to analyze the complexityof long distance dependencies (LDDs) of the dataset being modeled. In this paper, we presentdetailed analysis of the dependency decay curve exhibited by various datasets. The datasets sampledfrom a similar process (e.g. natural language, sequential MNIST, Strictlyk-Piecewise languages,etc) display variations in the properties of the dependency decay curve. Our analysis reveal thefactors resulting in these variations; such as (i) number of unique symbols in a dataset, (ii) size ofthe dataset, (iii) number of interacting symbols within a given LDD, and (iv) the distance betweenthe interacting symbols. We test these factors by generating synthesized datasets of the Strictlyk-Piecewise languages. Another advantage of these synthesized datasets is that they enable targetedtesting of deep recurrent neural architectures in terms of their ability to model LDDs with differentcharacteristics. We also demonstrate that analysing dependency decay curves can inform the selectionof optimal hyper-parameters for SOTA deep recurrent neural architectures. This analysis can directlycontribute to the development of more accurate and efficient sequential models.

연구 동기 및 목표

• 장거리 종속성(LDD)이 순차적 데이터셋에 미치는 영향을 이해함으로써 효과적인 순환 신경망을 훈련시키는 데 기여하는 요인을 밝히는 것.
• 순차적 MNIST 및 Enwik8와 같은 기존 벤치마크 데이터셋이 복잡한 LDD를 충분히 반영하지 못하고 있다는 점을 비판적으로 평가하는 것.
• Strictly k-Piecewise(SPk) 언어를 사용하여 조절 가능한 LDD 특성을 가진 제어 가능한 순차적 데이터셋을 생성하는 방법을 개발하는 것.
• 종속성 감쇠 곡선 분석이 최첨단 RNN 아키텍처에 대한 최적의 초파라미터 선택을 어떻게 이끌 수 있는지 보여주는 것.
• 실제 순차적 데이터에서 장거리 종속성 복잡성의 전반적인 스펙트럼을 반영하는 더 다양한 대표성 있는 벤치마크를 제안하는 것.

제안 방법

• 시퀀스 내 거리가 증가하는 기호 간 상호정보량을 사용하여 종속성 감쇠 곡선을 계산한다.
• 정보 이론적 측정치를 활용하여 다양한 시간 또는 공간 간격에서의 통계적 종속성 감쇠를 정량화한다.
• k, 어휘 크기, 금지된 부분문자열 등의 문법 파라미터를 제어하여 Strictly k-Piecewise(SPk) 언어를 사용해 합성 데이터셋을 생성한다.
• 어휘 크기, 데이터셋 크기, 상호작용하는 기호 수, 기호 간 거리의 네 가지 핵심 요소가 LDD 곡선 형태에 미치는 영향을 분석한다.
• 종속성 감쇠 곡선을 진단 도구로 활용하여 최첨단 RNN의 성능을 합성 및 실제 데이터셋에서 평가하고 비교한다.
• 최첨단 순환 아키텍처(예: LSTMs)를 다양한 LDD 복잡도를 가진 합성 데이터셋에 적용하여 초파라미터 민감도를 관찰함으로써 결과를 검증한다.

실험 결과

연구 질문

• RQ1 순차적 데이터셋 내 종속성 감쇠 곡선의 형태와 복잡도를 결정짓는 요소는 무엇인가?
• RQ2 어휘 크기, 데이터셋 크기, 상호작용하는 기호 수, 기호 간 거리가 장거리 종속성 구조에 어떻게 영향을 미치는가?
• RQ3 순차적 MNIST 및 Enwik8와 같은 표준 벤치마크 데이터셋이 현실적인 LDD 복잡도를 어느 정도 반영하고 있는가?
• RQ4 합성 SPk 언어 데이터셋을 사용하여 RNN 아키텍처의 LDD 모델링 능력을 체계적으로 평가하고 조정할 수 있는가?
• RQ5 종속성 감쇠 곡선 분석을 통해 최첨단 순환 신경망에 대한 최적의 초파라미터 선택을 어떻게 유도할 수 있는가?

주요 결과

• 종속성 감쇠 곡선은 순차적 데이터셋의 기본 문법과 LDD 구조를 드러내는 강력한 진단 도구이다.
• LDD는 기호의 유일한 수, 데이터셋 크기, 상호작용하는 기호 수, 그리고 그들 간 거리의 네 가지 핵심 요소에 의해 영향을 받는다.
• 순차적 MNIST 및 순환된 순차적 MNIST와 같은 표준 벤치마크는 의미 있는 장거리 종속성을 갖추고 있지 않아, LDD 모델링 능력을 평가하는 데 부적합하다.
• Enwik8는 파워 법칙 상관관계를 보이는 긴 尾 꼬리 형태의 종속성 감쇠 곡선을 보이며, 이는 높은 모델링 난이도를 의미한다. 이에 대해 LSTMs가 마르코프 모델보다 더 잘 처리할 수 있다.
• 합성 SPk 데이터셋은 LDD 복잡도를 정밀하게 제어할 수 있어, 다양한 종속 조건에서 RNN 아키텍처의 대상 평가를 가능하게 한다.
• 종속성 감쇠 곡선 분석은 최첨단 RNN에 대한 정보 기반 초파라미터 선택을 가능하게 하며, 직접적으로 모델 정확도와 효율성을 향상시킨다.