[논문 리뷰] Diformer: Directional Transformer for Neural Machine Translation

Minghan Wang, Jiaxin Guo외 9명|arXiv (Cornell University)|2021. 12. 22.

Natural Language Processing Techniques인용 수 5

한 줄 요약

Diformer는 방향성 언어 모델(DLM) 목적함수를 사용하여 왼쪽에서 오른쪽, 오른쪽에서 왼쪽, 그리고 직렬(비자기적) 생성 방향을 동시에 모델링하는 통합된 Transformer 아키텍처를 제안한다. 이는 AR 및 NAR 모델의 원래 의존성 가정을 유지하면서도, WMT 벤치마크에서 기존의 통합 모델보다 1.5 BLEU 이상 높은 성능을 기록하며, 독립적인 SOTA AR 및 NAR 모델과도 경쟁 가능한 성능을 달성한다.

ABSTRACT

Autoregressive (AR) and Non-autoregressive (NAR) models have their own superiority on the performance and latency, combining them into one model may take advantage of both. Current combination frameworks focus more on the integration of multiple decoding paradigms with a unified generative model, e.g. Masked Language Model. However, the generalization can be harmful to the performance due to the gap between training objective and inference. In this paper, we aim to close the gap by preserving the original objective of AR and NAR under a unified framework. Specifically, we propose the Directional Transformer (Diformer) by jointly modelling AR and NAR into three generation directions (left-to-right, right-to-left and straight) with a newly introduced direction variable, which works by controlling the prediction of each token to have specific dependencies under that direction. The unification achieved by direction successfully preserves the original dependency assumption used in AR and NAR, retaining both generalization and performance. Experiments on 4 WMT benchmarks demonstrate that Diformer outperforms current united-modelling works with more than 1.5 BLEU points for both AR and NAR decoding, and is also competitive to the state-of-the-art independent AR and NAR models.

연구 동기 및 목표

• 자기적(AR) 및 비자기적(NAR) 모델 간의 충돌하는 학습 목표로 인해 발생하는 성능 격차를 해소한다.
• 단일 프레임워크 내에서 자기적(AR) 및 비자기적(NAR) 복원의 원래 의존성 가정을 유지한다.
• 별도의 사전학습 또는 미세조정 단계 없이, L2R, R2L, 직렬 방향의 다중 복원 방향을 동시에 학습할 수 있도록 한다.
• 모델의 이원성 능력을 활용하여 자체 재순서 정렬을 통해 NAR 복원 성능을 향상시킨다.
• 일반화 능력 저하 없이 학습 비용 증가 없이 AR 및 NAR 추론 모드에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 각 토큰의 생성 방향(L2R, R2L, 또는 직렬)을 제어하기 위한 방향 변수를 도입한다.
• 각 토큰의 예측을 현재 방향에 기반한 컨텍스트에 조건화하는 방향성 언어 모델(DLM) 목적함수를 설정한다.
• 장거리 의존성 모델링을 유지하기 위해 최소 8 이상의 최대 상대 거리를 가지는 상대적 위치 임베딩을 사용한다.
• L2R, R2L, 직렬의 세 방향을 하나의 순방향 전파에서 공동으로 학습함으로써, 다단계 학습을 피하고 계산 비용을 절감한다.
• 추론 중에 자체 재순서 정렬을 적용하여, 방향성 모델을 사용해 베이머 후보를 재평가함으로써, 특히 NAR 복원에 효과적이다.
• 특히 NAR 및 R2L 방향에서의 학습 안정성과 성능 향상을 위해, 정제된 단일 언어 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 통합 Transformer 모델이 다중 복원 방향을 지원하면서도, AR 및 NAR 모델의 성능을 유지할 수 있는가?
• RQ2 공유된 DLM 목적함수를 사용해 L2R, R2L, 직렬 복원 방향을 공동으로 학습할 경우, 일반화된 조건부 모델링 대비 성능 저하가 감소하는가?
• RQ3 방향 변수의 포함 여부가 AR 및 NAR 설정에서 원래 의존성 가정을 유지하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ4 추가적인 추론 비용 없이 자체 재순서 정렬이 NAR 복원 성능을 얼마나 향상시키는가?
• RQ5 지식 정제가 원시 단일 언어 데이터를 사용할 때, 특히 비자기적 방향에서 모델 용량을 균형 있게 조절하는 데 효과적인가?

주요 결과

• Diformer는 네 개의 WMT 벤치마크에서 AR 및 NAR 복원 모두에서 기존의 통합 모델보다 1.5 BLEU 이상 높은 성능을 기록한다.
• WMT14 En→De에서 Diformer는 L2R 복원으로 28.58 BLEU를 기록했으며, 정제된 데이터를 사용한 경우 28.35 BLEU를 달성하여 이전의 통합 모델을 능가한다.
• 특히 NAR 복원에서 자체 재순서 정렬을 사용할 경우, 독립적인 SOTA AR 및 NAR 모델과도 경쟁 가능한 성능을 유지한다.
• 자체 재순서 정렬은 NAR 성능을 크게 향상시키며, 특히 마스크 예측 및 쉬운 우선 전략 하에서 베이머 크기 및 반복 횟수와 양의 상관관계를 보인다.
• 원시 데이터에서 모든 토큰을 R2L 방향으로 고정해 학습할 경우 L2R 성능을 복원할 수 있으며, 이는 원시 데이터가 비L2R 방향에 대해 학습 난이도를 증가시킨다는 것을 시사한다.
• 최대 거리 k ≥ 8인 상대적 위치 인코딩이 핵심이며, NAR 복원은 이원성 컨텍스트 의존성으로 인해 위치 정보에 더 민감하다.