[논문 리뷰] SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning.

Di Wu, Liang Ding외 2명|arXiv (Cornell University)|2021. 02. 08.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 양방향 대칭 어텐션과 다국어 대비 학습, 일치 손실을 활용하여 어텐션 맵의 거울 같은 대칭성을 강제하는 초경량 비지도(word alignment) 모델인 SLUA를 제안한다. 이는 GIZA++ 대비 16.4배 빠른 학습 및 디코딩 속도를 기록하고, 트랜스포머 기반 방법 대비 50배의 파라미터 감소를 달성하여 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Word alignment is essential for the down-streaming cross-lingual language understanding and generation tasks. Recently, the performance of the neural word alignment models has exceeded that of statistical models. However, they heavily rely on sophisticated translation models. In this study, we propose a super lightweight unsupervised word alignment (SLUA) model, in which bidirectional symmetric attention trained with a contrastive learning objective is introduced, and an agreement loss is employed to bind the attention maps, such that the alignments follow mirror-like symmetry hypothesis. Experimental results on several public benchmarks demonstrate that our model achieves competitive, if not better, performance compared to the state of the art in word alignment while significantly reducing the training and decoding time on average. Further ablation analysis and case studies show the superiority of our proposed SLUA. Notably, we recognize our model as a pioneer attempt to unify bilingual word embedding and word alignments. Encouragingly, our approach achieves 16.4x speedup against GIZA++, and 50x parameter compression} compared with the Transformer-based alignment methods. We will release our code to facilitate the community.

연구 동기 및 목표

• 복잡한 계산 비용을 감소시키면서 성능을 훼손하지 않는 초경량 비지도 단어 정렬 모델을 개발하는 것.
• 기존 신경망 기반 단어 정렬 모델이 복잡한 번역 모델에 의존하는 문제를 해결하는 것.
• 공동으로 대칭적인 어텐션 메커니즘을 통해 双어어휘 임베딩과 단어 정렬을 통합하는 것.
• 정확도를 유지하거나 초월하면서도 학습 및 추론 효율성을 향상시키는 것.

제안 방법

• 소스 문장과 타겟 문장 간 정렬 대칭성을 장려하는 이중 방향 대칭 어텐션을 도입한다.
• 임베딩 공간에서 다국어 단어 표현을 정렬하기 위해 대비 학습 목표를 활용한다.
• 정방향 및 역방향 어텐션 맵 간 일관성을 강제하여 반사 유사 대칭성을 확보하기 위해 일치 손실을 적용한다.
• 단일 언어 병렬 문장만을 사용하여 종단 간(end-to-end)으로 비지도 방식으로 모델을 학습한다.
• 최소한의 파라미터로 학습 및 추론 속도를 가속화하기 위해 초경량 아키텍처를 사용한다.
• 정렬과 표현 학습을 공동 최적화함으로써 이중어어휘 임베딩과 단어 정렬을 통합한다.

실험 결과

연구 질문

• RQ1 복잡한 신경망 기반 기계 번역 모델에 의존하지 않고도 초경량 비지도 단어 정렬 모델이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 대비 학습과 함께 사용된 대칭 어텐션은 단어 정렬 품질 향상에 얼마나 효과적인가?
• RQ3 정확도를 훼손하지 않으면서도 파라미터 효율성과 추론 속도를 얼마나 향상시킬 수 있는가?
• RQ4 이중어어휘 임베딩과 단어 정렬을 하나의 학습 목표로 효과적으로 통합할 수 있는가?

주요 결과

• SLUA는 여러 공개 벤치마크에서 최신 기술 수준의 방법들과 비교해도 경쟁력 있거나 더 우수한 단어 정렬 성능을 달성한다.
• GIZA++ 대비 학습 및 디코딩 시간을 16.4배 빠르게 한다.
• 트랜스포머 기반 정렬 모델 대비 50배의 파라미터 감소를 달성한다.
• 제거 실험을 통해 대비 학습 목표와 일치 손실이 정렬 품질 향상에 효과적임을 확인한다.
• 사례 연구를 통해 SLUA가 특히 자원이 부족한 환경에서 더 일관되고 대칭적인 정렬을 생성함을 입증한다.
• 이 모델은 하나의 초경량 프레임워크에서 이중어어휘 임베딩과 단어 정렬을 통합한 최초의 모델이다.