[논문 리뷰] ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation

Dongling Xiao, Han Zhang외 5명|arXiv (Cornell University)|2020. 01. 26.

Topic Modeling참고 문헌 26인용 수 28

한 줄 요약

ERNIE-GEN은 자연어 생성을 위한 다중 흐름 미리 훈련 및 미세조정 프레임워크를 제안하며, 보완 생성 기반의 노출 편향을 줄이고 노이즈 인식 훈련을 통해 개선합니다. 스파나이즈 단위 생성과 다중 해상도 타겟 샘플링을 도입함으로써 요약, 질의 생성, 대화 응답, 생성형 QA에서 최신 기술 수준의 성능을 달성하며, 데이터와 파라미터 요구량을 크게 줄였습니다.

ABSTRACT

Current pre-training works in natural language generation pay little attention to the problem of exposure bias on downstream tasks. To address this issue, we propose an enhanced multi-flow sequence to sequence pre-training and fine-tuning framework named ERNIE-GEN, which bridges the discrepancy between training and inference with an infilling generation mechanism and a noise-aware generation method. To make generation closer to human writing patterns, this framework introduces a span-by-span generation flow that trains the model to predict semantically-complete spans consecutively rather than predicting word by word. Unlike existing pre-training methods, ERNIE-GEN incorporates multi-granularity target sampling to construct pre-training data, which enhances the correlation between encoder and decoder. Experimental results demonstrate that ERNIE-GEN achieves state-of-the-art results with a much smaller amount of pre-training data and parameters on a range of language generation tasks, including abstractive summarization (Gigaword and CNN/DailyMail), question generation (SQuAD), dialogue generation (Persona-Chat) and generative question answering (CoQA).

연구 동기 및 목표

• 자연어 생성을 위한 순서에서 순서로 미리 훈련할 때, 훈련은 참조 토큰을 사용하지만 추론은 모델이 생성한 토큰을 사용하는 노출 편향 문제를 해결하기 위함입니다.
• 모델의 행동을 인간의 글쓰기 패턴(단어별 예측이 아닌 일관된 구간을 생성)과 일치시켜 생성 품질을 향상시키기 위함입니다.
• 단일 세그먼트 마스킹 대신 다중 해상도 타겟 샘플링을 사용하여 장문 텍스트 생성에서 인코더-디코더 간 상관관계를 강화하기 위함입니다.
• 마지막 토큰에 의존하지 않도록 노이즈 인식 생성과 보완 생성 기반의 메커니즘을 통합하여 미리 훈련과 미세조정 간 격차를 줄이기 위함입니다.

제안 방법

• 특수 토큰 [ATTN]을 사용해 모든 이전의 은닉 상태를 집계하는 보완 생성 기반 메커니즘을 도입하여, 마지막 예측 단어에 대한 의존도를 줄이고 오류 전파를 완화합니다.
• 목표 시퀀스를 훈련 중 무작위로 손상시키는 노이즈 인식 생성 방법을 적용하여 추론 시 잘못된 예측을 감지하고 무시할 수 있도록 모델을 훈련시킵니다.
• 인간의 글쓰기 패턴을 모방하기 위해 의미적으로 완전한 스파나이즈를 연속적으로 예측하도록 훈련하는 스파나이즈 단위 생성 흐름을 통합합니다.
• 비연속적이거나 분할된 스파나이즈를 타겟으로 선택하는 다중 해상도 타겟 샘플링을 사용하여 인코더-디코더 간 정렬을 강화하고 이전 예측에 대한 의존도를 줄입니다.
• Transformer 기반의 다중 흐름 어텐션 아키텍처를 도입하여 미리 훈련 중에 단어별 및 스파나이즈 단위 생성 흐름을 동시에 최적화합니다.
• 미세조정 단계에서도 동일한 보완 생성 및 노이즈 인식 메커니즘을 적용하여 미리 훈련과 추론 간 일관성을 유지합니다.

실험 결과

연구 질문

• RQ1 마지막 예측 토큰에 의존하지 않는 보완 생성 기반 메커니즘이 순서에서 순서로 생성의 노출 편향을 줄일 수 있는가?
• RQ2 목표 시퀀스를 미리 훈련 중에 손상시키는 노이즈 인식 훈련이 추론 시 예측 오류에 대한 강건성을 향상시키는가?
• RQ3 인간처럼 문장 단위로 일관된 어구를 생성하는 방식을 모델링하는 스파나이즈 단위 생성 작업이 생성 품질을 향상시키는가?
• RQ4 다중 해상도 타겟 샘플링이 장문 텍스트 생성에서 인코더와 디코더 표현 간 상관관계를 강화하는가?
• RQ5 보완 생성, 노이즈 인식, 스파나이즈 단위 생성을 결합한 다중 흐름 미리 훈련 프레임워크가 더 작은 모델과 더 적은 미리 훈련 데이터로 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• ERNIE-GEN은 개괄 요약(구글워드 및 CNN/DailyMail)에서 최신 기술 수준의 성능을 달성하였으며, CNN/DailyMail에서 ROUGE-1/ROUGE-2/ROUGE-L 점수는 각각 39.49/17.66/36.96, 구글워드에서 32.57/14.68/30.60을 기록했습니다.
• 질의 생성(SQuAD)에서 ERNIE-GEN은 BLEU-4 23.34, MTR 25.54, ROUGE-L 51.30을 기록하여 이전 방법들을 능가했습니다.
• 대화 응답 생성(Persona-Chat)에서 모델는 최신 기술 수준의 성능을 달성하였으며, 강력한 제로샷 및 소량 샘플 일반화 능력을 보였습니다.
• 제거 분석 결과, 노이즈 인식 생성 방법과 스파나이즈 단위 생성 작업 모두 성능 향상에 기여하며, 전체 모델이 변형보다 최대 1.5 ROUGE 포인트 높은 성능을 기록했습니다.
• 노이즈 인식 생성을 통한 미세조정은 모든 작업에서 성능 향상을 이끌었으며, 최적의 성능는 노이즈 비율 ρf = 0.15에서 달성되어 효과적인 오류 내성 능력을 확인했습니다.
• 모델의 어텐션 분석 결과, 미세조정 중 노이즈 토큰에 더 집중하는 경향을 보였으며, 노이즈 비율이 증가할수록 어텐션 가중치가 감소함을 확인하여 효과적인 오류 탐지 및 억제가 이루어졌음을 입증했습니다.