[논문 리뷰] Attention Strategies for Multi-Source Sequence-to-Sequence Learning

Jindřich Libovický, Jindřich Helcl|arXiv (Cornell University)|2017. 04. 21.

Topic Modeling인용 수 1

한 줄 요약

이 논문은 다중 소스 시퀀스-투-시퀀스 모델을 위한 두 가지 새로운 어텐션 조합 전략—플랫 및 계층적—을 제안하며, 인코더 중요도를 명시적으로 모델링할 수 있도록 한다. 이 방법들은 표준 연결 방식보다 더 나은 성능을 보이며, 공동 어텐션 분포 학습과 더 빠른 수렴을 가능하게 하여 다중 모odal 번역 및 자동 후처리 작업에서 경쟁적인 성과를 달성한다.

ABSTRACT

Modeling attention in neural multi-source sequence-to-sequence learning remains a relatively unexplored area, despite its usefulness in tasks that incorporate multiple source languages or modalities. We propose two novel approaches to combine the outputs of attention mechanisms over each source sequence, flat and hierarchical. We compare the proposed methods with existing techniques and present results of systematic evaluation of those methods on the WMT16 Multimodal Translation and Automatic Post-editing tasks. We show that the proposed methods achieve competitive results on both tasks.

연구 동기 및 목표

• 다중 소스 시퀀스-투-시퀀스 모델에서 다수의 입력 소스의 중요도 변화를 명시적으로 모델링하지 못하는 문제를 해결하기 위해.
• 다른 입력 모odal 또는 시퀀스의 역할을 반영하는 해석 가능한 어텐션 조합 전략을 개발하기 위해.
• 공동 어텐션 분포 학습이 문맥 벡터의 표준 연결 방식보다 성능 향상에 기여하는지 평가하기 위해.
• 간단한 연결 방식으로는 구현이 불가능한 디코더의 조건부 GRU 유닛과의 호환성을 보장하기 위해.

제안 방법

• 모든 인코더 히든 상태에 대해 공유된 파rameter를 사용하여 에너지 계산을 위한 공통 파rameter를 사용하는 플랫 어텐션 조합을 제안하며, 어텐션 웨이트를 공동으로 계산한다.
• 각 인코더별로 어텐션을 먼저 계산한 후, 별도의 어텐션 메커니즘을 사용하여 결과로 나온 컨텍스트 벡터를 조합하는 계층적 어텐션 조합을 도입한다.
• 모든 인코더에 걸쳐 어텐션 에너지 계산을 위한 공유된 프로젝션 행렬을 사용하며, 인코더별로 고유한 프로젝션 행렬을 사용하여 히든 상태를 변환한다.
• 디코더가 자신의 상태를 어텐션할 수 있도록 센티넬 게이트 메커니즘을 적응시켜, 입력 정보가 부족한 경우에도 안정성을 향상시킨다.
• 조건부 게이팅과 센티넬 벡터를 사용한 GRU 기반 디코더를 적용하여 모델링의 유연성을 향상시킨다.
• 이 두 전략을 다중 모달 번역(이미지 + 캡션) 및 자동 후처리(원본 + MT 출력) 작업에 모두 적용한다.

실험 결과

연구 질문

• RQ1 여러 인코더 간 공동 어텐션 분포 학습이 문맥 벡터 연결 방식보다 다중 소스 시퀀스-투-시퀀스 작업에서 성능 향상에 기여하는가?
• RQ2 계층적 어텐션 조합 전략이 플랫 어텐션보다 인코더 기여도의 해석 가능성에서 더 우수한가?
• RQ3 제안된 방법들이 표준 연결 방식과 달리, 디코더의 조건부 GRU 유닛과 효과적으로 통합될 수 있는가?
• RQ4 제안된 전략들이 다중 모달 번역 및 자동 후처리와 같은 실제 작업에서 어떻게 성능을 발휘하는가?
• RQ5 계층적 어텐션 전략이 플랫 또는 연결 어텐션보다 더 빠른 모델 수렴을 이끌어내는가?

주요 결과

• 플랫 및 계층적 어텐션 전략은 WMT16 다중 모달 번역 및 자동 후처리 작업에서 모두 경쟁적인 성능을 달성하였다.
• 계층적 전략은 다른 어텐션 조합 방법들보다 더 빠른 학습 수렴을 보였다.
• APE 작업에서 최고의 모델(공유 프로젝션과 센티넬을 사용한 계층적 전략)은 HTER 22.0 ± .7을 기록하여 베이스라인(24.8)보다 유의미하게 향상되었다.
• Multi30k 데이터셋에서 계층적 모델은 BLEU 점수 32.1 ± .8을 기록하여 베이스라인 및 다른 설정보다 뛰어난 성능을 보였다.
• 공유 프로젝션 행렬의 사용은 특히 자원이 제한된 환경에서 성능 향상과 일반화 능력을 향상시켰다.
• 센티넬 게이트 메커니즘은 입력 시퀀스에 관련 정보가 제한적인 경우 특히 안정성을 향상시켰다.