[논문 리뷰] Pervasive Attention: 2D Convolutional Neural Networks for Sequence-to-Sequence Prediction

Maha Elbayad, Laurent Besacier외 1명|arXiv (Cornell University)|2018. 08. 11.

Natural Language Processing Techniques참고 문헌 43인용 수 53

한 줄 요약

2D CNN 모델이 소스와 타깃 시퀀스를 마스킹된 컨볼루션으로 함께 인코딩하며, 매개변수 수가 적고 레이어 간 어텐션과 유사한 동작을 내재적으로 갖춘 엔코더-디코더 모델에 비해 번역 품질이 경쟁력 있게 달성된다.

ABSTRACT

Current state-of-the-art machine translation systems are based on encoder-decoder architectures, that first encode the input sequence, and then generate an output sequence based on the input encoding. Both are interfaced with an attention mechanism that recombines a fixed encoding of the source tokens based on the decoder state. We propose an alternative approach which instead relies on a single 2D convolutional neural network across both sequences. Each layer of our network re-codes source tokens on the basis of the output sequence produced so far. Attention-like properties are therefore pervasive throughout the network. Our model yields excellent results, outperforming state-of-the-art encoder-decoder systems, while being conceptually simpler and having fewer parameters.

연구 동기 및 목표

• MT를 위한 주의가 있는 전통적 인코더-디코더 아키텍처를 넘어서는 동기.
• 각 층에서 부분 타깃 시퀀스에 조건화하여 소스를 재인코딩하는 자동회귀형, 완전 합성곱 모델을 개발한다.
• 2D CNNs with masking can achieve competitive translation quality on IWSLT’14 German–English and English–German tasks.
• 모델이 풀링과 선택적으로 주의 메커니즘을 통해 암시적 정렬을 학습하는 방식과 더 적은 매개변수 및 병렬 학습 가능성을 보여준다.
• (추가 설명 필요 시 여기에 추가)

제안 방법

• 소스와 타깃 토큰을 합친 2D 격자 형태의 임베딩으로 표현하여 X의 형태가 (|t|, |s|, f0)인 텐서를 구성한다. 여기서 f0 = ds + dt.
• DenseNet 스타일의 2D 컨볼루션 블록을 마스킹된 컨볼루션으로 사용하여 타깃 시퀀스에 대한 자동회귀 인자화를 보장한다.
• 마지막 블록에서 소스 차원에 대해 최대 풀링을 적용하여 각 타깃 위치 표현을 얻고, 이를 선형 층과 소프트맥스의 출력 어휘로 투영한다.
• 선택적으로 소스 차원에 대한 자체 어텐션 메커니즘을 보강하거나 풀링된 특징과 연결해 성능을 향상시킨다.
• 레이블 스무딩 크로스 엔트로피와 Adam으로 학습하고, 길이 및 커버리지 페널티가 있는 빔검색을 통해 디코딩한다.
• 풀링 대 어텐션 변형, 임베딩 크기, 깊이, 성장률, 수용 범위를 IWSLT’14 De-En 및 En-De 작업에서 실험적으로 평가한다.

실험 결과

연구 질문

• RQ1 마스크드 컨볼루션을 사용하는 결합 소스-타깃 격자에서 작동하는 2D CNN이 주의가 있는 인코더-디코더 MT 모델에 대한 경쟁 대안이 될 수 있는가?
• RQ2 풀링 전략과 네트워크 깊이/너비가 2D CNN MT 모델의 번역 품질과 암시적 정렬에 어떤 영향을 미치는가?
• RQ3 임베딩 크기, 네트워크 깊이, 커널 크기가 De-En 및 En-De 번역의 BLEU 점수에 어떤 영향을 미치는가? (광범위한 주의가 있을 때)
• RQ4 2D CNN 기반 접근법이 BLEU, 매개변수 수, 계산 비용 측면에서 최첨단 순환 및 Transformer 모델과 어떻게 비교되는가?

주요 결과

• 제안된 보급형 주의 2D CNN 모델은 IWSLT’14 독일어–영어 및 영어–독일어 번역에서 BLEU 점수가 경쟁력 있으며, 여러 베이스라인보다 매개변수가 적다.
• 소스 차원에 대한 최대 풀링은 이 설정에서 평균 풀링과 자체 어텐션보다 현저히 우수하게 작동하여 대략 평균 풀링 대비 BLEU +2.3 수준의 이점을 보인다.
• 네트워크를 더 깊게 구성(~24층까지)하고 합리적인 임베딩/성장 구성은 BLEU에서 상당한 개선을 보여 주며, 마스킹된 2D 합성곱의 깊은 피처 계층의 이점을 강조한다.
• 모델은 암시적 문장 정렬을 어텐션 맵과 유사하게 유도하며, 선택적 자체 어텐션과 함께 사용하면 약간의 이익이 나타난다.
• RNN 기반 주의 모델과 ConvS2S에 비해 보급형 주의 접근은 경쟁력이 있으며, 특정 구성에서는 Transformer 모델에 근접한 성능을 보이면서도 매개변수 수가 더 적다.
• 저자들은 오픈 소스 PyTorch 구현을 제공하고 대상 데이터셋의 여러 베이스라인에 비해 우수한 BLEU 결과를 입증한다.