[논문 리뷰] Denoising based Sequence-to-Sequence Pre-training for Text Generation

Liang Wang, Wei Zhao외 3명|arXiv (Cornell University)|2019. 08. 22.

Topic Modeling참고 문헌 62인용 수 5

한 줄 요약

이 논문은 노이즈로 손상된 텍스트 시퀀스를 사용하여 인코더와 디코더 컴ponent를 동시에 미세조정하는 디노이징 기반의 시퀀스 투 시퀀스 사전학습 방법 PoDA를 제안한다. 단어 재배열, 삭제 또는 대체를 통해 대규모 비라벨 텍스트에서 사전학습을 수행함으로써, 개괄적 요약 및 문법 오류 수정 작업에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 작업별 특화 수정 없이도 수렴 속도를 크게 향상시킨다.

ABSTRACT

This paper presents a new sequence-to-sequence (seq2seq) pre-training method PoDA (Pre-training of Denoising Autoencoders), which learns representations suitable for text generation tasks. Unlike encoder-only (e.g., BERT) or decoder-only (e.g., OpenAI GPT) pre-training approaches, PoDA jointly pre-trains both the encoder and decoder by denoising the noise-corrupted text, and it also has the advantage of keeping the network architecture unchanged in the subsequent fine-tuning stage. Meanwhile, we design a hybrid model of Transformer and pointer-generator networks as the backbone architecture for PoDA. We conduct experiments on two text generation tasks: abstractive summarization, and grammatical error correction. Results on four datasets show that PoDA can improve model performance over strong baselines without using any task-specific techniques and significantly speed up convergence.

연구 동기 및 목표

• 시퀀스 투 시퀀스 모델에서 기존 사전학습 방법이 인코더 또는 디코더 중 하나만 사전학습한다는 한계를 해결하기 위해.
• 텍스트 생성을 위한 인코더와 디코더 표현을 동시에 최적화하는 통합된 사전학습 접근법을 개발하기 위해.
• 대규모 비라벨 텍스트에서 사전학습된 표현을 활용하여 미세조정 단계에서 수렴 속도를 높이기 위해.
• 사전학습 단계와 미세조정 단계 간 아키텍처 일致성을 유지하여 구조적 변경을 방지하기 위해.

제안 방법

• PoDA는 생성 및 복사 메커니즘을 지원하기 위해 트랜스포머 인코더와 디코더를 조합한 하이브리드 아키텍처를 사용하며, 포인터-게이저 출력 레이어를 포함한다.
• 입력 시퀀스에 무작위 재배열, 삭제, 대체의 세 가지 노이징 함수를 적용하여 디노이징을 위한 손상된 입력을 생성한다.
• 디노이징 목표는 노이즈가 가미된 입력에서 원래의 깨끗한 시퀀스를 재구성하도록 모델을 훈련시켜 강건한 문맥 표현을 학습한다.
• 사전학습은 빌리언 워드 벤치마크와 영어 위키백과를 포함한 대규모 단어 언어 모델에서 수행되며, 총 약 29.9억 단어에 이른다.
• 이 방법은 트랜스포머 및 ConvS2S를 포함한 다양한 seq2seq 아키텍처와 호환되며, 미세조정 단계에서 아키텍처 변경이 필요하지 않다.
• 미세조정 동안 최대 우도 학습을 사용하며, 교육 과정 학습이나 스케줄링 샘플링과 같은 작업별 특화 기법에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 디노이징 오토인코더 사전학습 전략이 시퀀스 투 시퀀스 모델의 인코더와 디코더 표현을 동시에 향상시킬 수 있는가?
• RQ2 인코더와 디코더를 함께 사전학습하는 것이 개별적으로 사전학습하는 것보다 더 빠른 수렴과 더 나은 성능을 이끌어낼 수 있는가?
• RQ3 작업별 특화 아키텍처나 훈련 기법 없이 PoDA가 개괄적 요약 및 문법 오류 수정 작업에서 얼마나 효과적인가?
• RQ4 노이징 함수의 선택(재배열, 삭제, 대체)이 모델 성능과 강건성에 어느 정도 영향을 미치는가?
• RQ5 PoDA는 아키텍처의 단순성과 표준 미세조정 파ip라인과의 호환성을 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PoDA는 작업별 특화 기법을 사용하지 않고도 네 가지 벤치마크 데이터셋(CNN/Daily Mail, Gigaword, CoNLL-2014, JFLEG)에서 뛰어난 또는 경쟁력 있는 성능을 달성한다.
• 기본 모델 대비 수렴 속도가 크게 향상된다: CNN/Daily Mail와 Gigaword에서 PoDA는 5 에포크 만에 검증 퍼플렉서티를 달성하는 데 성공했고, 사전학습되지 않은 버전은 30개 이상의 에포크가 필요했다.
• 사전학습 단계는 네 개의 데이터셋 전반에서 모델 성능을 향상시켜, 인코더-디코더 공동 사전학습의 효과를 입증한다.
• 베타 분포 사전 확률를 사용하여 다중 노이징 함수(재배열, 삭제, 대체)를 적용함으로써 다양한 노이즈 수준에 대한 강건성이 향상된다.
• 사전학습과 미세조정 단계 간 아키텍처 일致성을 유지하여 모델 재구성의 필요성을 피한다.
• 코드와 사전학습된 모델은 https://github.com/yuantiku/PoDA 에 공개되어 있어 재현성과 향후 연구를 지원한다.