[논문 리뷰] Enhancing Machine Translation with Dependency-Aware Self-Attention

Emanuele Bugliarello, Naoaki Okazaki|arXiv (Cornell University)|2019. 09. 06.

Natural Language Processing Techniques참고 문헌 45인용 수 9

한 줄 요약

이 논문은 파라미터가 없고 의존성에 민감한 자기주의 메커니즘인 Pascal을 제안한다. 이는 인코더의 첫 번째 레이어에서 문법적 부모 관계를 명시적으로 통합함으로써 트랜스포머 모델의 성능을 향상시킨다. 의존성 부모의 위치에 따라 attention 점수를 스케일링하여 번역 품질을 향상시키며, 특히 장문의 문장과 저자원 설정에서 성능 향상이 두드러진다. 추가 파라미터나 계산 비용 없이도 원거리 En-Ja 번역 작업에서 최대 +3.5 BLEU 포인트의 성능 향상을 달성한다.

ABSTRACT

Most neural machine translation models only rely on pairs of parallel sentences, assuming syntactic information is automatically learned by an attention mechanism. In this work, we investigate different approaches to incorporate syntactic knowledge in the Transformer model and also propose a novel, parameter-free, dependency-aware self-attention mechanism that improves its translation quality, especially for long sentences and in low-resource scenarios. We show the efficacy of each approach on WMT English-German and English-Turkish, and WAT English-Japanese translation tasks.

연구 동기 및 목표

• 기존에 주로 자기주의 메커니즘에 의존하는 트랜스포터 아키텍처에 문법 지식을 효과적으로 통합할 수 있는 방법을 탐구한다.
• 기존의 문법 인식 NMT 모델들이 추가 파라미터가 필요하거나 시퀀스 길이를 늘리거나 다양한 데이터 제약 조건에서 일반화하지 못하는 한계를 해결한다.
• 모델의 효율성과 유연성을 해치지 않으면서 의존성 분석 정보를 활용해 트랜스포터의 자기주의를 향상시키는 방법을 설계한다.
• LISA 및 RNN 기반 접근 방식과 같은 문법 인식 메커니즘이 트랜스포터 아키텍처에서 전통적인 RNN 기반 문법 통합 방식보다 우수한 성능을 보이는지 평가한다.
• 특히 장문의 문장과 저자원 언어 쌍에서 번역 품질 향상이 일관되게 이루어지는지를 입증한다.

제안 방법

• 각 토큰의 의존성 부모 위치를 고려해 표준 자기주의를 수정하는 새로운 파라미터 없는 메커니즘인 부모 스케일드 자기주의(Pascal)를 제안한다.
• 각 토큰에 대해 쿼리-키 상호작용 외에도, 부모의 중간 위치를 중심으로 한 가우시안 함수를 사용해 attention 점수를 스케일링한다.
• 서브워드 유닛을 그 부모 단어의 중간 토큰 위치로 매핑함으로써, 바이트-페어 인코딩(BPE)을 사용할 때도 문법적 맥락을 통합할 수 있다.
• Pascal은 단어 임베딩가 아직 분리되어 있는 첫 번째 인코더 레이어에만 적용하여, 문법적 부모 정보를 활용해 표현을 풍부하게 한다.
• 모델 아키텍처나 파라미터를 수정하지 않고도 외부 의존성 분석을 통해 얻은 부모 위치를 attention 메커니즘의 위치 편향으로 활용한다.
• 가우시안 가중치 함수를 사용해 부모 토큰에 더 높은 attention 가중치를 할당하며, 지역 집중과 일반화 사이의 균형을 위해 경험적으로 최적화된 분산을 설정한다.

실험 결과

연구 질문

• RQ1 추가 파라미터나 계산 비용 없이도 자기주의 메커니즘에 문법 정보를 효과적으로 통합할 수 있는가?
• RQ2 첫 번째 인코더 레이어에 의존성 부모 관계를 통합하면 더 나은 단어 표현과 번역 품질 향상이 이루어지는가?
• RQ3 다양한 데이터 제약 조건, 특히 저자원 및 장문 시퀀스 설정에서 LISA나 RNN 기반 접근 방식과 비교해 Pascal의 성능은 어떻게 되는가?
• RQ4 Pascal의 성능 향상 정도가 독일어나 일본어 번역과 같이 문법적 복잡성이 높은 언어 쌍에 따라 달라지는가?
• RQ5 가우시안 가중치 함수의 분산과 같은 하이퍼파rameter 선택에 대해 제안된 방법이 얼마나 강인한가?

주요 결과

• 원거리 En-Ja 번역 작업에서 Pascal은 최대 +3.5 BLEU 포인트 향상을 달성했으며, 특히 장문의 문장에서 저자원 설정에서 +2 BLEU 포인트 이상의 향상이 이루어졌다.
• 모든 평가된 작업—En-De, De-En, En-Tr, En-Ja—에서 일관된 성능 향상을 보이며 다양한 언어 쌍과 데이터 크기에서의 강건성을 입증했다.
• Pascal 헤드를 첫 번째 레이어에 배치할 경우 성능이 가장 높았으며, 이는 초기 단계에서의 문법적 맥락 통합이 단어 표현 학습을 향상시킨다는 것을 확인한다.
• attention 가중치 함수에 최적의 가우시안 분산은 1이며, 이는 BPE 처리된 데이터에서 일반적인 서브워드 분할 분포와 일치한다.
• 하이퍼파ram터 튜닝에 매우 민감하지 않으며, En-De에서의 하이퍼파ram터를 De-En으로 이식해도 오직 -0.2 BLEU 포인트의 성능 하락만을 보이며 강력한 일반화 능력을 보였다.
• 특히 저자원 및 장문 시퀀스 환경에서 RNN 기반 문법 통합 방식과 LISA와 같은 다른 자기주의 기반 접근 방식보다 Pascal이 뛰어난 성능을 보였다.