[논문 리뷰] A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond

Yisheng Xiao, Lijun Wu외 5명|arXiv (Cornell University)|2022. 04. 20.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 종합적 서베이는 신경 기계 번역(NMT) 및 그 외 분야에서 비자기적(NAR) 생성에 대해 종합적인 개요를 제공하며, 데이터 조작, 모델링, 훈련 기준, 디코딩, 사전 훈련된 모델 등 다양한 영역에서 접근 방식을 체계적으로 분류한다. 최근의 발전이 자기를 모델과의 성능 격차를 좁히는 데 기여했음을 강조하면서도, 종속성 모델링과 지식 증류에 대한 의존성 등의 과제를 지적하며 향후 연구 및 실무적 구현을 위한 통찰을 제공한다.

ABSTRACT

Non-autoregressive (NAR) generation, which is first proposed in neural machine translation (NMT) to speed up inference, has attracted much attention in both machine learning and natural language processing communities. While NAR generation can significantly accelerate inference speed for machine translation, the speedup comes at the cost of sacrificed translation accuracy compared to its counterpart, autoregressive (AR) generation. In recent years, many new models and algorithms have been designed/proposed to bridge the accuracy gap between NAR generation and AR generation. In this paper, we conduct a systematic survey with comparisons and discussions of various non-autoregressive translation (NAT) models from different aspects. Specifically, we categorize the efforts of NAT into several groups, including data manipulation, modeling methods, training criterion, decoding algorithms, and the benefit from pre-trained models. Furthermore, we briefly review other applications of NAR models beyond machine translation, such as grammatical error correction, text summarization, text style transfer, dialogue, semantic parsing, automatic speech recognition, and so on. In addition, we also discuss potential directions for future exploration, including releasing the dependency of KD, reasonable training objectives, pre-training for NAR, and wider applications, etc. We hope this survey can help researchers capture the latest progress in NAR generation, inspire the design of advanced NAR models and algorithms, and enable industry practitioners to choose appropriate solutions for their applications. The web page of this survey is at \url{https://github.com/LitterBrother-Xiao/Overview-of-Non-autoregressive-Applications}.

연구 동기 및 목표

• 비자기적 신경 기계 번역(NAT) 모델의 최근 발전을 체계적으로 검토하고 분류하는 것.
• NAT의 핵심 과제인 타겟 측 종속성 모델링 실패를 특정하고 분석하는 것 — 이는 번역 품질 저하를 초래한다.
• 성능 향상을 위한 전략들 — 데이터 조작, 모델링, 훈련 기준, 디코딩, 사전 훈련 — 을 평가하고 비교하는 것.
• NMT를 넘어서 텍스트 요약, 음성 인식, 스타일 전이 등 다양한 응용 분야로의 확장을 다루는 것.
• 열린 문제들과 향후 연구 방향을 특정하는 것 — 지식 증류에 대한 의존도를 줄이고 NAR 모델을 위한 사전 훈련 기법을 향상시키는 것 등.

제안 방법

• 데이터 조작, 모델링 아키텍처, 훈련 기준, 디코딩 알고리즘, 사전 훈련된 모델 활용이라는 다섯 가지 핵심 영역으로 NAT 방법을 분류하는 것.
• 반복 기반, 잠재변수 기반, 향상 기반의 모델링 기법을 분석하여 타겟 측 종속성을 모델링하는 것.
• 지식 증류, 가능도 최대화, 최근의 통합 프레임워크 등 훈련 목표를 조사하는 것 — 가능도 기반 훈련을 재고하는 최근 접근 방식 포함.
• 반복 보정과 반복 주의를 통한 디코딩 전략을 평가하여 NAR 생성 품질을 향상시키는 것.
• 사전 훈련된 모델을 NAR 프레임워크에 통합하여 성능을 향상시키는 것 — 특히 저자원 및 다국어 환경에서 효과적이다.
• 텍스트 토 음성, 음성 번역, 코드 완성, 시계열 예측 등 다양한 NLP 및 음성 응용 분야로 분석을 확장하는 것.

실험 결과

연구 질문

• RQ1 비자기적 모델은 추론 속도와 번역 정확도 측면에서 자기를 모델과 어떻게 비교되는가?
• RQ2 비자기적 생성에서 주요 기술적 과제는 무엇인가 — 특히 타겟 측 종속성을 모델링하지 못하는 데서 비롯되는가?
• RQ3 데이터 조작, 모델링 설계, 훈련 기준이 NAR 성능 향상에 얼마나 기여하는가?
• RQ4 지식 증류가 비자기적 모델과 자기를 모델 간 성능 격차를 메우는 데 얼마나 효과적인가?
• RQ5 저자원, 다국어, 번역 외 과제에 비자기적 모델을 적용할 잠재력과 한계는 무엇인가?

주요 결과

• 지식 증류는 여전히 NAR 모델 성능 향상에 가장 효과적인 방법이지만, 자기를 모델을 사전 훈련하는 데 의존하므로 확장성에 제약이 있다.
• 반복 기반 NAR 모델은 자기를 모델에 가까운 성능을 달성하지만, 대량 배치 추론에서는 순차적 디코딩 단계로 인해 속도 우수성이 상실된다.
• NAR 훈련에서 단순한 가능도 최대화는 토큰 간 종속성을 유지하지 못해 분포 근사가 약화되고 생성 품질이 떨어진다.
• 자기를 모델에 대해 혁신적인 영향을 미친 사전 훈련 기법은 여전히 NAR 모델에 대해 다소 미비하게 다뤄져 있어 향후 연구에 큰 기회가 있다.
• NAR 방법은 텍스트 요약, 음성-음성 번역, 코드 완성, 시계열 예측 등 다양한 과제로 성공적으로 확장되어 광범위한 적용 가능성을 보였다.
• 음성 응용 분야 — 예를 들어 음성 변환과 입술에서 음성으로의 합성 — 에서 비자기 아키텍처를 활용함으로써 GAN 기반 보이서와 스트리밍 설계를 통해 높은 추론 효율성과 개선된 음성 품질을 달성했다.