[논문 리뷰] Language Modeling with Gated Convolutional Networks

Yann Dauphin, Angela Fan외 2명|arXiv (Cornell University)|2016. 12. 23.

Topic Modeling참고 문헌 24인용 수 1,121

한 줄 요약

게이트드 컨볼루션 네트워크(GCNN)와 Gated Linear Units를 활용한 언어 모델링을 도입하여 WikiText-103에서 최첨단 성능을 달성하고 Google Billion Word에서 재현 가능한 결과를 얻으며 순환 모델에 비해 훨씬 높은 효율성을 보여준다.

ABSTRACT

The pre-dominant approach to language modeling to date is based on recurrent neural networks. Their success on this task is often linked to their ability to capture unbounded context. In this paper we develop a finite context approach through stacked convolutions, which can be more efficient since they allow parallelization over sequential tokens. We propose a novel simplified gating mechanism that outperforms Oord et al (2016) and investigate the impact of key architectural decisions. The proposed approach achieves state-of-the-art on the WikiText-103 benchmark, even though it features long-term dependencies, as well as competitive results on the Google Billion Words benchmark. Our model reduces the latency to score a sentence by an order of magnitude compared to a recurrent baseline. To our knowledge, this is the first time a non-recurrent approach is competitive with strong recurrent models on these large scale language tasks.

연구 동기 및 목표

• 유한한 맥락의 언어 모델링을 재현 네트워크의 대안으로서 크게 병렬화 가능하도록 동기 부여한다.
• 게이트 메커니즘(GLU)을 게이트드 컨볼루션 네트에서 도입하여 그래디언트 흐름과 비선형 모델링을 촉진한다.
• 대규모 데이터 세트(Google Billion Word, WikiText-103)에서 GCNN을 재현 모델 및 기준선과 비교 평가한다.
• 맥락 크기, 게이팅 메커니즘, 학습 기법, 구조적 선택이 성능과 효율성에 미치는 영향을 분석한다.

제안 방법

• 잔차 병목 블록 내에서 게이트드 선형 유닛(GLU)을 사용하는 합성곱 아키텍처를 정의한다.
• 숨은 표현을 h_l(X) = (X * W + b) ⊗ σ(X * V + c)로 계산하되, 미래를 훔쳐보는 것을 방지하기 위한 적절한 인과적 패딩을 사용한다.
• 깊은 스택링과 그래디언트 흐름을 가능하게 하는 프리-액티베이션 잔차 블록을 사용한다.
• 대규모 어휘 예측을 위한 효율적인 적응 소프트맥스(adaptive softmax)로 학습한다.
• 게이팅 변형(GLU 대 GTU)을 실험하고 선형 및 이중 선형/비선형 대안과 비교한다.
• 맥락 크기 효과를 평가하고 LSTM과 비교하여 처리량과 반응성을 분석한다.

실험 결과

연구 질문

• RQ1 게이트드 컨볼루션 네트워크가 재현 없이도 언어 모델링에서 긴 범위 의존성을 효과적으로 포착할 수 있는가?
• RQ2 GLU 게이팅 메커니즘이 학습 효율성과 혼란도(perplexity) 측면에서 LSTM 스타일 게이트와 어떻게 비교되는가?
• RQ3 대규모 데이터셋에서 GCNN의 성능에 대한 맥락 윈도 크기의 영향은 무엇인가?
• RQ4 구조적 선택(잔차 블록, 병목)과 최적화 트릭이 학습 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ5 GCNN이 현실적인 계산 제약 하에서 대규모 언어 모델링 벤치마크에서 최첨단 재현 모델과 경쟁력 있는가?

주요 결과

모델	데이터세트	테스트 PPL	하드웨어
GCNN-13	Google Billion Word	38.1	1 GPU
GCNN-14 Bottleneck	Google Billion Word	31.9	8 GPUs
LSTM-1024 (Grave et al. 2016b)	WikiText-103	48.7	1 GPU
GCNN-8	WikiText-103	44.9	1 GPU
GCNN-14	WikiText-103	37.2	4 GPUs

• GCNN은 WikiText-103에서 최첨단 perplexity를 달성하고 Google Billion Word에서 경쟁력 있는 결과를 제시한다.
• GLU 기반 GCNN은 LSTM 스타일 게이트 및 다른 활성화 함수에 비해 Wik-103 및 GBW에서 수렴 속도와 낮은 perplexity를 달성한다.
• 맥락 크기는 약 20-40 토큰까지 성능을 개선하고 그 이후로는 수익이 감소하는 경향을 보이며, 긴 문서에서도 마찬가지다.
• 병목 잔차 블록과 그래디언트 클리핑이 학습 속도와 효율성을 크게 향상시킨다.
• GCNN은 GPU에서 높은 처리량과 우수한 반응성을 제공하며, 유사한 하드웨어 및 출력 근사 설정 하에서 재현 기반의 벤치마크보다 큰 속도 향상을 보인다.