[논문 리뷰] Non-Autoregressive Text Generation with Pre-trained Language Models

Yixuan Su, Deng Cai외 5명|arXiv (Cornell University)|2021. 02. 16.

Topic Modeling참고 문헌 24인용 수 10

한 줄 요약

이 논문은 BERT를 백본으로 사용하는 비자기적 텍스트 생성 프레임워크를 제안하며, 학습 가능한 [eos] 토큰을 통한 동적 길이 결정과 반복을 줄이기 위한 맥락 인식 학습 목표를 도입한다. 비자기적 모델 중 최고 수준의 성능을 달성하고 자기를 모델과 경쟁 가능한 성능을 내며, 새로운 비율 우선 디코딩 전략을 통해 더 빠른 추론을 가능하게 한다.

ABSTRACT

Non-autoregressive generation (NAG) has recently attracted great attention due to its fast inference speed. However, the generation quality of existing NAG models still lags behind their autoregressive counterparts. In this work, we show that BERT can be employed as the backbone of a NAG model to greatly improve performance. Additionally, we devise mechanisms to alleviate the two common problems of vanilla NAG models: the inflexibility of prefixed output length and the conditional independence of individual token predictions. Lastly, to further increase the speed advantage of the proposed model, we propose a new decoding strategy, ratio-first, for applications where the output lengths can be approximately estimated beforehand. For a comprehensive evaluation, we test the proposed model on three text generation tasks, including text summarization, sentence compression and machine translation. Experimental results show that our model significantly outperforms existing non-autoregressive baselines and achieves competitive performance with many strong autoregressive models. In addition, we also conduct extensive analysis experiments to reveal the effect of each proposed component.

연구 동기 및 목표

• 비자기적 모델의 생성 품질을 향상시키기 위해, 일반적으로 자기를 모델에 비해 성능이 열 劣한 비자기적 모델의 성능을 향상시키는 것.
• 기본적인 NAG 모델에서 고정된 출력 길이의 유연성 부족 문제를 해결하기 위해 추론 중에 동적으로 길이를 결정할 수 있도록 하는 것.
• 비자기적 모델에서 반복적이고 문법적으로 어색한 출력을 유발하는 조건부 독립성 가정을 완화하는 것.
• 요약 및 문장 압축과 같이 출력 길이 비율이 예측 가능한 작업의 추론 효율성을 향상시키기 위한 것.
• 자기적 모델과 경쟁 가능한 성능을 달성하면서도 비자기적 생성의 속도 우수성을 유지하는 것.

제안 방법

• 출력 측의 종속성을 모델링하고 시퀀스의 일관성을 향상시키기 위해 BERT를 인코더 백본으로 사용하고, 그 위에 CRF 레이어를 추가한다.
• 학습 가능한 [eos] 토큰 메커니즘을 도입하여 모델이 생성을 언제 멈출지 동적으로 결정할 수 있도록 하여, 길이 예측이나 길이 병렬 디코딩이 필요 없도록 한다.
• 연속된 위치에서 동일하거나 유사한 예측을 방지하기 위해 페널티를 주는 맥락 인식 학습 목표를 제안한다.
• 소스 측의 은닉 상태 처리를 입력 길이의 분수 α만큼 제한하는 비율 우선 디코딩 전략을 사용한다. 이는 사전에 알려진 타겟-소스 길이 비율에 기반한다.
• 비교를 위한 기준으로 길이 병렬 디코딩(LPD)을 사용한다. 이는 여러 길이 후보를 생성하고 별도의 모델을 사용해 재순서 정렬한다.
• BERT 인코더, CRF 레이어, [eos] 토큰 예측 헤드를 종합적으로 최적화하여 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 BERT가 비자기적 텍스트 생성을 위한 백본으로 효과적으로 적응할 수 있는가?
• RQ2 학습 가능한 [eos] 토큰을 통한 동적 길이 결정 전략이 품질과 속도 측면에서 고정 길이 또는 길이 병렬 디코딩 전략을 능가하는가?
• RQ3 맥락 인식 학습 목표가 비자기적 생성에서 반복을 줄이고 유창성을 향상시키는 데 기여하는가?
• RQ4 비율 우선 디코딩 전략이 생성 품질을 희생시키지 않고 추론 속도를 얼마나 향상시키는가?
• RQ5 다양한 텍스트 생성 작업에서 제안된 모델이 강력한 자기적 모델과 비교해 성능가능한가?

주요 결과

• 제안된 모델은 IWSLT14 DE-EN 번역 데이터셋에서 BLEU 점수 30.45를 기록하여 LPD-10 기준선(27.15)을 초월하고, 훨씬 느린 디코딩 전략을 사용하는 모델들과도 동등한 성능을 달성한다.
• 자기적 모델 대비 11.31배의 추론 속도 향상을 기록하였으며, LPD-1 디코딩과 유사한 속도를 확보했고, 생성 품질 측면에서 크게 뛰어나다.
• 비율 우선 디코딩을 통해 Gigawords 데이터셋에서 α = 0.3일 때 9.31배의 속도 향상을 달성하였으며, 이는 속도와 품질의 최적 균형을 이룬다.
• Gigawords 데이터셋에서 타겟-소스 길이 비율의 분포를 분석한 결과, 70%의 인스턴스가 비율 0.3 이하에 해당하여 α = 0.3를 최적 성능을 위한 선택으로 타당하게 뒷받침한다.
• 제거 실험 결과, 동적 길이 메커니즘과 맥락 인식 목표 모두 성능 향상에 기여하며, 특히 반복 감소와 유창성 향상에 기여함을 확인한다.
• 텍스트 요약, 문장 압축, 기계 번역 등 다양한 작업에서 강력한 자기적 모델과 경쟁 가능한 성능을 기록하여, BERT 기반 NAG가 고품질 생성에 실현 가능함을 입증한다.