[논문 리뷰] Sample Efficient Text Summarization Using a Single Pre-Trained Transformer

Urvashi Khandelwal, Kevin B. Clark외 2명|arXiv (Cornell University)|2019. 05. 21.

Topic Modeling참고 문헌 19인용 수 62

한 줄 요약

요지는: 이 논문은 요약을 위해 선행 학습된 디코더-만 Transformer LM을 언어 모델링 태스크처럼 미세조정하면 샘플 효율성이 높아지고, 인코더-디코더 기반 대비 매개변수가 적으면서도 경쟁력 있는 결과를 낸다는 것을 보여준다.

ABSTRACT

Language model (LM) pre-training has resulted in impressive performance and sample efficiency on a variety of language understanding tasks. However, it remains unclear how to best use pre-trained LMs for generation tasks such as abstractive summarization, particularly to enhance sample efficiency. In these sequence-to-sequence settings, prior work has experimented with loading pre-trained weights into the encoder and/or decoder networks, but used non-pre-trained encoder-decoder attention weights. We instead use a pre-trained decoder-only network, where the same Transformer LM both encodes the source and generates the summary. This ensures that all parameters in the network, including those governing attention over source states, have been pre-trained before the fine-tuning step. Experiments on the CNN/Daily Mail dataset show that our pre-trained Transformer LM substantially improves over pre-trained Transformer encoder-decoder networks in limited-data settings. For instance, it achieves 13.1 ROUGE-2 using only 1% of the training data (~3000 examples), while pre-trained encoder-decoder models score 2.3 ROUGE-2.

연구 동기 및 목표

• 사전 학습된 언어 모델이 향상된 샘플 효율성으로 추상적 요약에 어떻게 사용될 수 있는지 시연한다.
• 디코더-만 Transformer LM이 소스 내용을 인코딩하고 사전 학습 가중치만으로 요약을 생성할 수 있는지 조사한다.
• 다양한 사전 학습 구성으로 인코더-디코더 아키텍처와 비교한다.
• 사전 학습이 샘플 효율성과 추상적 품질에 미치는 영향을 평가한다.

제안 방법

• 대형 말뭉치(WikiLM)에서 일방향 설정으로 Transformer 언어 모델을 사전 학습한다.
• 기사와 그 요약을 하나의 시퀀스로 추가하여 요약을 수행하도록 디코더-만 Transformer LM을 미세조정한다.
• 인코더, 디코더 또는 양쪽에 사전 학습을 적용한 인코더-디코더 기반과 비교하되 인코더-디코더 어텐션은 비사전 학습 상태로 유지한다.
• CNN/Daily Mail 데이터셋에서 ROUGE 지표로 평가하고, 학습 데이터를 축소한 비율(1%, 2%, 5%, 10%, 20%, 50%)로 샘플 효율성을 보고한다.
• 추론 시 빔 너비 2를 사용한다.

실험 결과

연구 질문

• RQ1 사전 학습된 디코더-만 Transformer LM이 비사전 학습된 인코더-디코더 어텐션 가중치 없이도 경쟁력 있는 추상적 요약을 달성할 수 있는가?
• RQ2 모든 파라미터를 사전 학습하는 것이(인코더/디코더 부분뿐 아니라) 소량 데이터에서도 우수한 샘플 효율성을 가져오는가?
• RQ3 다양한 사전 학습 구성으로 인코더-디코더 아키텍처와 비교할 때 ROUGE 점수와 추상화 대 복사 동작 측면에서 어떤 차이가 있는가?

주요 결과

Model	R1	R2	RL
Celikyilmaz et al. (2018)	41.69	19.47	37.92
CopyTransformer (4-layer)	39.25	17.54	36.45
GPT-2 (48-layer, zero-shot)	29.34	0 8.27	26.58
BidirEncoder-Decoder (4-layer)	37.74	16.27	34.76
Encoder-Decoder (12-layer)	36.72	15.22	33.84
Transformer LM (12-layer)	37.72	16.14	34.62

• 사전 학습이 풀 데이터에서 ROUGE 점수를 약 2포인트 상승시킨다.
• 디코더-만 사전 학습이 인코더-만 또는 인코더-디코더 사전 학습 구성보다 나은 성능을 보이며, 디코더-만 사전 학습은 전체 인코더-디코더 모델과 경쟁력이 있다.
• 학습 데이터가 단 1%인 경우 디코더-만 사전 학습된 Transformer LM은 ROUGE-2 13.1을 달성하는 반면, 사전 학습된 인코더-디코더 모델은 2.3에 그친다.
• 모델은 일부 베이스라인보다 더 높은 추상적 품질과 소스 감독에 가까운 복사 동작을 보여주지만, 매우 낮은 데이터 설정에서 허구를 만들어내기도 한다.
• 모든 파라미터를 완전하게 사전 학습한 모델은 부분적 사전 학습에 비해 제한된 데이터 상황에서 큰 이점을 가져온다.