[논문 리뷰] Convolutional Sequence to Sequence Learning

Jonas Gehring, Michael Auli외 3명|arXiv (Cornell University)|2017. 05. 08.

Topic Modeling참고 문헌 37인용 수 1,901

한 줄 요약

소개하는 완전 합성 시퀀스-투-시퀀스 모델과 게이트드 선형 유닛 및 계층별 어텐션으로 여러 번역 태스크에서 BLEU의 최첨단을 달성하고 RNN 기반 경쟁자보다 더 빠른 학습/추론을 달성한다.

ABSTRACT

The prevalent approach to sequence to sequence learning maps an input sequence to a variable length output sequence via recurrent neural networks. We introduce an architecture based entirely on convolutional neural networks. Compared to recurrent models, computations over all elements can be fully parallelized during training and optimization is easier since the number of non-linearities is fixed and independent of the input length. Our use of gated linear units eases gradient propagation and we equip each decoder layer with a separate attention module. We outperform the accuracy of the deep LSTM setup of Wu et al. (2016) on both WMT'14 English-German and WMT'14 English-French translation at an order of magnitude faster speed, both on GPU and CPU.

연구 동기 및 목표

• 대규모 번역 작업에서 완전 합성 인코더-디코더가 순환 기반 시퀀스-투-시퀀스 모델보다 성능이 우수함을 보여준다.
• 게이팅 및 잔차 연결이 있는 병렬화 가능한 합성 아키텍처가 장거리 의존성을 효과적으로 모델링할 수 있음을 보여준다.
• 번역 및 요약 성능에 대한 위치 임베딩, 다단계 어텐션, 및 커널 깊이/너비의 영향을 평가한다.
• 강력한 RNN 기반 기준과 비교한 생성 속도와 확장성을 평가한다.

제안 방법

• 완전히 합성 인코더-디코더 아키텍처를 사용한다.
• 잔차 연결과 함께 비선형성으로 게이트드 선형 유닛(GLU)을 적용한다.
• 입력 임베딩을 인코더 출력에 더한 상태로 모든 디코더 층에 다단계 어텐션을 포함시킨다.
• 절대 입력/출력 위치를 인코딩하기 위한 위치 임베딩을 사용하고 디코더의 인과성을 유지하기 위해 패딩 전략을 적용한다.
• 토큰 수준 가능도 목표로 학습하고 추론 시 빔 검색을 사용한다.
• WMT’16 English-Romanian, WMT’14 English-German, WMT’14 English-French 및 Gigaword에서의 추상적 요약을 평가한다.

실험 결과

연구 질문

• RQ1 완전 합성 시퀀스-투-시퀀스 모델이 대규모 번역 벤치마크에서 최첨단 RNN 기반 모델과 대등하거나 이를 능가할 수 있는가?
• RQ2 모든 디코더 층에 다층 어텐션을 도입하는 것이 번역 품질과 학습 안정성을 향상시키는가?
• RQ3 위치 임베딩, 커널 너비/깊이 및 학습 전략이 성능과 속도에 미치는 영향은 무엇인가?
• RQ4 ConvS2S 모델의 GPU/CPU에서의 생성 속도는 GNMT 유사 아키텍처와 비교해 어떠한가?
• RQ5 이 접근이 추상 요약 작업으로도 효과적으로 확장될 수 있는가?

주요 결과

• ConvS2S는 Wu et al. (2016)의 심층 LSTM 설정을 WMT’14 English-German에서 0.5 BLEU, WMT’14 English-French에서 1.6 BLEU의 비교 설정에서 능가한다.
• WMT’16 English-Romanian에서 BPE 어휘를 사용할 때 ConvS2S는 29.45–30.02 BLEU를 달성하는 반면 이전 수상자는 28.1 BLEU이다.
• ConvS2S는 WMT’16 English-Romanian, WMT’14 English-German, WMT’14 English-French 번역 태스크에서 새로운 최첨단을 달성했으며, GPU/CPU 전반에서 Wu et al. (2016)보다 대폭 빠른 속도로 미지의 문장을 번역한다.
• 다층 어텐션(모든 디코더 층)이 최적의 perplexity와 BLEU를 가져오며 어텐션 모듈에 작은 오버헤드를 준다.
• 인코더 깊이를 늘리면 점진적인 정확도 향상이 나타나지만, 더 깊은 디코더는 수익 감소를 제공하며; 좁은 커널을 가진 더 많은 층이 더 넓은 커널보다 종종 더 잘 수행한다.
• 8개의 ConvS2S 모델을 결합한 앙상블이 WMT’14 English-German 및 English-French의 이전 강력한 앙상블보다 성능이 뛰어나다.