[논문 리뷰] An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

Shaojie Bai, J. Zico Kolter외 1명|arXiv (Cornell University)|2018. 03. 04.

Topic Modeling참고 문헌 66인용 수 4,314

한 줄 요약

본 논문은 간단하고 일반적인 Temporal Convolutional Network (TCN)을 LSTM/GRU/RNN 기반선과 여러 시퀀스 모델링 작업에서 비교하고, TCN이 자주 순환 모델보다 우수하며 실제 기억 용량이 더 길게 나타난다는 것을 보여준다.

ABSTRACT

For most deep learning practitioners, sequence modeling is synonymous with recurrent networks. Yet recent results indicate that convolutional architectures can outperform recurrent networks on tasks such as audio synthesis and machine translation. Given a new sequence modeling task or dataset, which architecture should one use? We conduct a systematic evaluation of generic convolutional and recurrent architectures for sequence modeling. The models are evaluated across a broad range of standard tasks that are commonly used to benchmark recurrent networks. Our results indicate that a simple convolutional architecture outperforms canonical recurrent networks such as LSTMs across a diverse range of tasks and datasets, while demonstrating longer effective memory. We conclude that the common association between sequence modeling and recurrent networks should be reconsidered, and convolutional networks should be regarded as a natural starting point for sequence modeling tasks. To assist related work, we have made code available at http://github.com/locuslab/TCN .

연구 동기 및 목표

• 시퀀스 모델링에서 기본적으로 순환 네트워크를 사용하는 방식을 재평가하는 것을 동기화한다.
• 시퀀스 작업의 시작점으로서 간단하고 표준화된 TCN 아키텍처를 제공한다.
• 다양한 벤치마크(음악, 언어, 합성 테스트)에서 TCN과 표준 RNN을 체계적으로 비교한다.
• TCN과 RNN 간의 기억 유지 차이를 분석하여 장기 의존성에 대해 이해한다.

제안 방법

• 인과적 1D 합성곱과 시퀀스 길이를 유지하기 위한 제로 패딩으로 일반적인 Temporal Convolutional Network (TCN)을 제안한다.
• 기억가능 범위를 매우 길게 만들면서도 인과성을 보존하기 위해 확장된 인과 합성곱을 도입한다.
• 레이어 차원을 맞추고 심층 구조를 가능하게 하는 1x1 투영이 있는 잔차 블록을 사용한다.
• TCN 내에서 가중치 정규화와 공간 드롭아웃으로 규제화를 적용한다.
• 동일한 모델 크기와 표준 최적화(Adam, 그래디언트 클리핑)를 사용하여 TCN과 LSTM, GRU, 일반 RNN 기반선을 비교한다.
• 폴리포닉 음악 모델링, 단어- 및 문자-수준 언어 모델링, 합성 스트레스 테스트를 포함한 광범위한 작업에서 평가한다.

실험 결과

연구 질문

• RQ1 일반적인 TCN이 인과적이고 확장된 합성곱으로 표준 시퀀스 모델링 벤치마크에서 표준 재발 비교 구조를 능가할 수 있는가?
• RQ2 컨볼루션 네트워크가 LSTM/GRU/RNN 모델보다 더 긴 유효히스토리를 통해 정보를 보유하는가?
• RQ3 TCN이 음악, 언어 모델링, 합성 기억 테스트와 같이 재발 기반 벤치마크에서 어떤 성능을 보이는가?
• RQ4 메모리 사용 및 학습 안정성 측면에서 TCN과 재발 모델 간의 실용적 트레이드오프는 무엇인가?

주요 결과

• TCNs는 광범위한 시퀀스 모델링 작업에서 표준 재발 네트워크를 크게 능가한다.
• 합성 스트레스 테스트인 추가 문제(add링 문제)와 복사 기억에서 TCN은 LSTM/GRU보다 더 빨리 수렴하고 손실이 더 낮다.
• Sequential MNIST 및 permuted MNIST에서 TCN은 더 높은 정확도와 더 빠른 수렴을 달성한다.
• 폴리포닉 음악(JSB Chorales, Nottingham) 및 단어/문자 수준 언어 모델링(PTB, WikiText-103, LAMBADA, text8)에서 TCN은 작업별 튜닝 없이도 재발 기반선과 비슷하거나 이를 능가한다.
• TCN은 동등한 크기의 RNN보다 더 긴 효과적 기억을 보여주며, copy memory 및 LAMBADA 결과에서 이를 확인할 수 있다.
• 전반적으로 이 논문은 합성곱 아키텍처가 시퀀스 모델링의 자연스러운 시작점이 되어야 한다고 주장한다.