[논문 리뷰] Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation

Zhengrui Ma, Chenze Shao외 3명|arXiv (Cornell University)|2023. 03. 12.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 비자기적 번역을 위한 새로운 훈련 목표인 방향성 비순환 그래프(DAG) 내 흐릿한 정렬(Fuzzy Alignments in DAGs, FA-DAT)을 제안한다. 이는 엄격한 토큰 단위 정렬 대신 DAG 내 모든 경로를 통해 n-gram 기반의 흐릿한 정렬을 도입한다. 생성된 경로와 기준 번역 간의 기대 n-gram 겹침을 최대화함으로써, FA-DAT는 다중 모odal handling을 향상시키고 생성 신뢰도를 높이며, 지식 정수화나 빔 서치 없이도 원시 데이터에서 새로운 SOTA 성능을 달성한다.

ABSTRACT

Non-autoregressive translation (NAT) reduces the decoding latency but suffers from performance degradation due to the multi-modality problem. Recently, the structure of directed acyclic graph has achieved great success in NAT, which tackles the multi-modality problem by introducing dependency between vertices. However, training it with negative log-likelihood loss implicitly requires a strict alignment between reference tokens and vertices, weakening its ability to handle multiple translation modalities. In this paper, we hold the view that all paths in the graph are fuzzily aligned with the reference sentence. We do not require the exact alignment but train the model to maximize a fuzzy alignment score between the graph and reference, which takes captured translations in all modalities into account. Extensive experiments on major WMT benchmarks show that our method substantially improves translation performance and increases prediction confidence, setting a new state of the art for NAT on the raw training data.

연구 동기 및 목표

• 단일 소스 문장에 대해 여러 유효한 번역이 존재하는 다중 모달리티 문제로 인해 발생하는 비자기적 번역(NAT)의 성능 저하를 해결하기 위해.
• 기준 토큰과 정점 간의 엄격한 단조적 정렬을 강제하는 기존의 음의 로그우도(NLL) 손실이 DAG 기반 NAT 모델의 한계를 극복하기 위해.
• 모델이 DAG 내 모든 경로가 기준과 흐릿하게 정렬되어 있음을 인식하도록 훈련시켜 예측의 캘리브레이션과 신뢰도를 향상시키기 위해.
• 다양한 번역 모달리티에서 유의미하게 기여하는 모든 정점가 훈련에 기여하도록 보장함으로써, 더 작은 그래프 크기에서도 뛰어난 성능을 달성하기 위해.
• 지식 정수화나 자동회귀적 디코딩에 의존하지 않고도 원시 훈련 데이터에서 WMT 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 각 DAG 경로와 기준 문장 간의 기대 n-gram 겹침을 기반으로 한 흐릿한 정렬 점수를 도입하여, 엄격한 일대일 정렬을 대체한다.
• DAG와 기준 간의 총 정렬 점수를 모든 경로에 대한 기대 흐릿한 정렬 점수의 평균으로 정의하며, 이는 모델이 최대화하도록 훈련된다.
• 표준 NLL 손실을 대체하여 높은 정렬 점수를 유도하는 미분 가능한 목적함수를 도입함으로써, 모델이 동시에 여러 번역 모달리티로부터 학습할 수 있도록 한다.
• 모든 경로에서의 기울기를 집계하는 미분 가능한 목적함수를 사용하여 DAG 기반 모델을 훈련함으로써, 다양한 번역 변형을 반영하는 정점들이 잘 캘리브레이션되도록 보장한다.
• 학습 가능한 길이 예측기와 정점이 디코더 은닉 상태를 나타내고 간선이 이동을 나타내는 그래프 구조를 사용하여 경로 기반 디코딩을 가능하게 한다.
• 추론 중에 사전 검색 디코딩을 적용하여, 흐릿한 훈련 목표에서 유도된 향상된 신뢰도와 정렬을 활용해 고품질 출력을 생성한다.

실험 결과

연구 질문

• RQ1 DAG 내 모든 경로를 고려하는 흐릿한 정렬 목표가 비자기적 번역의 다중 모달리티 처리를 향상시키는가?
• RQ2 엄격한 NLL 손실을 흐릿한 정렬 목표로 대체할 경우, NLL 기반 훈련에 비해 성능 향상과 더 높은 예측 신뢰도를 달성하는가?
• RQ3 FA-DAT는 지식 정수화나 빔 서치 없이 원시 훈련 데이터에서 얼마나 높은 SOTA 성능을 달성할 수 있는가?
• RQ4 기본 모델인 DA-Transformer와 비교했을 때, 그래프 크기가 FA-DAT의 성능에 어떤 영향을 미치는가?
• RQ5 흐릿한 정렬 목표는 다각적인 번역 모달리티에 걸쳐 모델의 퍼즐러피티를 감소시키고 정점의 캘리브레이션을 향상시키는가?

주요 결과

• FA-DAT는 지식 정수화나 자동회귀적 디코딩 없이도 원시 훈련 데이터만을 사용하여 WMT14 En-De 및 WMT16 En-De 벤치마크에서 새로운 SOTA 성능을 달성한다.
• WMT14 En-De에서 FA-DAT는 λ=3일 때 BLEU 점수 26.47을 기록하며, λ=8일 때 DA-Transformer의 성능을 재현함으로써 그래프 크기 사용 효율성이 뛰어나다는 것을 입증한다.
• 정점의 통과 확률이 0 또는 1에 집중되고 토큰 확률이 1에 가까워지는 것으로 나타나, 더 나은 캘리브레이션을 보이며 예측의 신뢰도가 향상됨을 확인할 수 있다.
• 모든 그래프 크기(λ=2에서 λ=8)에 걸쳐 FA-DAT는 DA-Transformer 기준보다 평균 0.96 BLEU 높은 성능을 기록하며, 이는 강건성과 효과성을 입증한다.
• 흐릿한 정렬 목표는 NLL 손실이 엄격히 정렬된 경로만 캘리브레이션하는 데 반해, 다양한 번역 변형을 포착하는 정점들로 더 효과적인 기울기 흐름을 가능하게 한다.
• 실험 결과 FA-DAT는 다중 모달리티 모델링이 향상되어 퍼즐러피티를 감소시키고 NAT 모델에서 흔히 발생하는 반복 토큰 문제를 피함을 확인했다.