[논문 리뷰] PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation

Bin Bi, Chenliang Li외 6명|arXiv (Cornell University)|2020. 04. 14.

Topic Modeling참고 문헌 44인용 수 20

한 줄 요약

PALM는 단일 Transformer 인코더-디코더 아키텍처 내에서 자동에코와 자동회귀 목표를 동시에 최적화하는 새로운 사전학습 프레임워크를 제안한다. 이는 강력한 컨텍스트 조건 기반 텍스트 생성을 가능하게 하며, 요약, 질의응답, 대화 등 다양한 생성 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 CNN/DailyMail에서 ROUGE-L 점수 39.71, MARCO에서 0.498을 기록하여 이전 방법들보다 뚜렷한 향상을 이룬다.

ABSTRACT

Self-supervised pre-training, such as BERT, MASS and BART, has emerged as a powerful technique for natural language understanding and generation. Existing pre-training techniques employ autoencoding and/or autoregressive objectives to train Transformer-based models by recovering original word tokens from corrupted text with some masked tokens. The training goals of existing techniques are often inconsistent with the goals of many language generation tasks, such as generative question answering and conversational response generation, for producing new text given context. This work presents PALM with a novel scheme that jointly pre-trains an autoencoding and autoregressive language model on a large unlabeled corpus, specifically designed for generating new text conditioned on context. The new scheme alleviates the mismatch introduced by the existing denoising scheme between pre-training and fine-tuning where generation is more than reconstructing original text. An extensive set of experiments show that PALM achieves new state-of-the-art results on a variety of language generation benchmarks covering generative question answering (Rank 1 on the official MARCO leaderboard), abstractive summarization on CNN/DailyMail as well as Gigaword, question generation on SQuAD, and conversational response generation on Cornell Movie Dialogues.

연구 동기 및 목표

• 자기요약 및 생성형 질문 응답과 같은 컨텍스트 조건 기반 생성 작업과의 괴리가 발생하는 사전학습 목표(예: 노이즈 제거)를 해결하기 위해.
• 자동에코와 자동회귀 모델링의 장점을 융합한 통합된 사전학습 체계를 설계하여 더 나은 컨텍스트 이해와 텍스트 생성을 가능하게 하기 위해.
• 자신만의 내용을 생성하는 요약이나 응답 생성과 같은 깊이 있는 입력 컨텍스트 이해가 요구되는 생성 작업에서 성능을 향상시키기 위해.
• 사전학습 목표를 실제 생성 행동과 더 가깝게 맞추어 사전학습과微조정 간의 분포 괴리를 줄이기 위해.

제안 방법

• 대규모 레이블이 없는 코퍼스에서 공동 사전학습을 수행하는 표준 Transformer 인코더-디코더 아키텍처를 사용한다.
• 먼저 인코더와 디코더를 사용하여 입력 시퀀스의 마스킹된 스트림을 복원함으로써 자동에코를 수행한다.
• 다음으로 디코더가 왼쪽에서 오른쪽으로 순차적으로 다음 토큰을 예측하는 자동회귀 생성 단계로 진행한다.
• 동일한 컨텍스트에 기반한 두 단계의 목표를 사용하여 사전학습을 수행한다: 첫 번째로 노이즈 제거(자동에코), 두 번째로 자동회귀 생성.
• 적절한 경우 입력에서 내용을 복사함으로써 생성 품질을 향상시키기 위해 디코더에 포인터-생성기 네트워크를 통합한다.
• 자기요약 및 생성형 QA와 같은 실제 작업과 더 밀접하게 맞는 사전학습 목표를 설계하여, 컨텍스트에서 새로운 내용을 이해하고 생성하는 것이 핵심임을 반영한다.

실험 결과

연구 질문

• RQ1 자동에코와 자동회귀 목표를 통합한 통합 사전학습 프레임워크가 컨텍스트 조건 기반 텍스트 생성을 향상시킬 수 있는가?
• RQ2 자동에코와 자동회귀의 공동 사전학습이 자기요약 및 생성형 질문 응답 성능에 어떤 영향을 미치는가?
• RQ3 포인터-생성기 네트워크의 통합이 컨텍스트 인식 작업에서 생성 품질을 어느 정도 향상시키는가?
• RQ4 자동에코, 자동회귀, 사전학습 등의 개별 구성 요소가 PALM의 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 PALM의 사전학습 체계가 생성 작업에서 사전학습과 미세조정 간의 분포 괴리 문제를 줄이는가?

주요 결과

• PALM는 자기요약 벤치마크인 CNN/DailyMail에서 ROUGE-L 점수 39.71을 기록하여 이전 방법들보다 뚜렷이 뛰어난 성능을 달성하며 새로운 최신 기술 수준(SOTA)을 확립했다.
• MARCO 자연어 생성 랭킹에서 PALM는 ROUGE-L 점수 0.498을 기록하여 모든 모델 중 1위를 차지했다.
• 포인터-생성기 구성 요소는 성능 향상에 기여하며, 이를 제거할 경우 ROUGE-L 점수에서 0.22의 감소가 발생하여 유창성과 내용 정확도 향상에 기여하는 것으로 나타났다.
• 제거 실험 결과, 자동에코 및 자동회귀 구성 요소 모두가 필수적이며, 사전학습을 제거할 경우 성능이 6.5% 이상 저하됨을 확인했다.
• 모델는 광범위한 작업에서 강력한 일반화 능력을 보이며, 대화 응답 생성, 질문 생성, Gigaword에서의 자기요약 등 다양한 작업에서 최신 기술 수준 성능을 달성했다.