[논문 리뷰] Double Path Networks for Sequence to Sequence Learning

Kaitao Song, Xu Tan외 4명|arXiv (Cornell University)|2018. 06. 13.

Advanced Neural Network Applications참고 문헌 21인용 수 9

한 줄 요약

이 논문은 순서-순서 학습을 위한 더블 패스 네트워크(DPN-S2S)를 제안한다. 이는 이중 경로 인코더와 디코더 내의 교차 주의 게이팅 메커니즘을 통해 국소적 특징 추출을 위한 합성곱 신경망(CNN)과 전역적 의미 모델링을 위한 자기주의 신경망(SAN)을 동시에 활용한다. 이 모델은 기계 번역 및 텍스트 요약 작업에서 최신 기술 성능을 달성하며, CNN 전용 및 SAN 전용 기준선 대비 각각 0.46–2.96 BLEU 및 0.74–0.99 BLEU의 성능 향상을 보였다.

ABSTRACT

Encoder-decoder based Sequence to Sequence learning (S2S) has made remarkable progress in recent years. Different network architectures have been used in the encoder/decoder. Among them, Convolutional Neural Networks (CNN) and Self Attention Networks (SAN) are the prominent ones. The two architectures achieve similar performances but use very different ways to encode and decode context: CNN use convolutional layers to focus on the local connectivity of the sequence, while SAN uses self-attention layers to focus on global semantics. In this work we propose Double Path Networks for Sequence to Sequence learning (DPN-S2S), which leverage the advantages of both models by using double path information fusion. During the encoding step, we develop a double path architecture to maintain the information coming from different paths with convolutional layers and self-attention layers separately. To effectively use the encoded context, we develop a cross attention module with gating and use it to automatically pick up the information needed during the decoding step. By deeply integrating the two paths with cross attention, both types of information are combined and well exploited. Experiments show that our proposed method can significantly improve the performance of sequence to sequence learning over state-of-the-art systems.

연구 동기 및 목표

• 순서-순서 학습에서 단일 경로 모델이 국소적 및 전역적 시퀀스 의존성을 모두 포착하는 데에 한계가 있음을 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 CNN과 자기주의 기반 기법을 통합하여 모델링 능력을 향상시키기 위해.
• 인코딩 및 디코딩 동안 CNN 및 SAN 경로에서 별개의 표현을 유지하는 이중 경로 아키텍처를 설계하기 위해.
• 디코딩 중에 양쪽 경로에서 유용한 정보를 동적으로 선택하고 융합하기 위해 교차 주의 게이팅 메커니즘을 개발하기 위해.
• 인코더 및 디코더 구성 요소에서 CNN 및 SAN 경로의 효과를 실증적으로 검증하기 위해.

제안 방법

• 인코더는 두 개의 병렬 경로를 사용한다: 하나는 국소적 시퀀스 연결성을 캡처하기 위한 합성곱 레이어이고, 다른 하나는 전역적 의미 관계를 모델링하기 위한 자기주의 레이어이다.
• 각 경로는 소스 시퀀스를 독립적으로 인코딩하여 국소적 및 전역적 맥락의 별개의 표현을 유지한다.
• 디코더는 학습 가능한 게이팅을 갖춘 교차 주의 모듈을 사용하여 인코더의 CNN 및 SAN 경로에서 온 특징을 동적으로 주의 집중하고 융합한다.
• 게이팅 메커니즘은 디코더가 각 타겟 토큰을 생성하기 위해 어느 경로의 표현이 더 관련성이 있는지 자동으로 가중치를 조정할 수 있도록 한다.
• 모델는 표준 순서-순서 목적함수를 사용해 엔드 투 엔드로 훈련되며, 순환 구조 없이 병렬 처리가 가능해 효율적이다.
• 이 아키텍처는 기계 번역(NIST, IWSLT14) 및 텍스트 요약(Gigaword) 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 CNN과 자기주의 경로를 융합하면 단일 경로 아키텍처를 초월해 순서-순서 모델링 성능을 향상시킬 수 있는가?
• RQ2 CNN 및 SAN 경로에서 유도된 국소적 및 전역적 표현은 최종 출력에 어떻게 다른 방식으로 기여하는가?
• RQ3 게이팅 기반 교차 주의 메커니즘이 디코딩 중에 이중 경로 표현을 효과적으로 융합할 수 있는가?
• RQ4 성능 향상은 CNN과 SAN의 상보성 때문인가, 아니면 모델 용량 증가 때문인가?
• RQ5 인코더 및 디코더에서 각 경로의 기여도가 전체 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• NIST 중국어-영어 번역 작업에서 DPN-S2S는 CNN 기반 기준선보다 0.46–2.96 BLEU, SAN 기반 기준선보다 0.74–0.99 BLEU의 성능 향상을 보였다.
• IWSLT14 독일어-영어 번역 및 영어 Gigaword 텍스트 요약 작업에서 DPN-S2S는 최신 기술 BLEU 및 ROUGE 점수를 달성했다.
• 제거 실험 결과, 인코더 또는 디코더에서 CNN 또는 SAN 경로를 제거하면 성능 저하가 발생하여, 양쪽 경로의 필요성을 확인했다.
• 주의 시각화 결과, CNN 기반 주의 헤드는 더 높은 엔트로피(더 분포가 넓은 주의)를 보였고, SAN 기반 헤드는 더 낮은 엔트로피(더 집중된 주의)를 보여, 두 경로의 역할이 다름을 확인했다.
• 사례 연구 결과, DPN-S2S는 CNN 경로에서 유도된 국소적 세부 정보와 SAN 경로에서 유도된 전역적 일관성을 효과적으로 융합하여, 단일 경로 모델보다 더 정확한 번역 결과를 도출했다.
• 교차 주의 게이팅 메커니즘은 이중 경로 특징의 효과적인 융합을 가능하게 하였으며, 디코더는 두 표현에서 가장 관련성이 높은 맥락을 동적으로 선택할 수 있었다.