[논문 리뷰] Transductive Learning for Abstractive News Summarization

Arthur Bražinskas, Mengwen Liu외 3명|arXiv (Cornell University)|2021. 04. 17.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 개괄적 뉴스 요약에 대해 전도적 학습의 첫 응용을 제안하며, 테스트 시점에 입력 기사에서 주요 문장을 사용하여 미세조정된 모델을 추가로 적응시켜 요약 품질을 향상시킵니다. 미세조정 중에 추출적 가짜 기준과 개괄적 요약을 동시에 예측하고 전도적 학습을 통해 모델을 적응시킴으로써, CNN/DM(+1.05) 및 NYT(+0.74)에서 최신의 ROUGE-L 점수를 달성하였으며, 요약의 개괄성과 일관성 또한 향상되었습니다.

ABSTRACT

Pre-trained and fine-tuned news summarizers are expected to generalize to news articles unseen in the fine-tuning (training) phase. However, these articles often contain specifics, such as new events and people, a summarizer could not learn about in training. This applies to scenarios such as a news publisher training a summarizer on dated news and summarizing incoming recent news. In this work, we explore the first application of transductive learning to summarization where we further fine-tune models on test set inputs. Specifically, we construct pseudo summaries from salient article sentences and input randomly masked articles. Moreover, this approach is also beneficial in the fine-tuning phase, where we jointly predict extractive pseudo references and abstractive gold summaries in the training set. We show that our approach yields state-of-the-art results on CNN/DM and NYT datasets, improving ROUGE-L by 1.05 and 0.74, respectively. Importantly, our approach does not require any changes of the original architecture. Moreover, we show the benefits of transduction from dated to more recent CNN news. Finally, through human and automatic evaluation, we demonstrate improvements in summary abstractiveness and coherence.

연구 동기 및 목표

• 훈련 중에 관찰되지 않은 새로운 개체와 사건을 포함한 테스트 기사에서 발생하는 일반화 갭을 해결하기 위해.
• 테스트 입력 콘텐츠를 활용해 추론 시점에 모델을 적응시켜 최근 또는 미리보지 않은 뉴스에서의 모델 성능을 향상시키기 위해.
• 기존 모델 아키텍처를 수정하지 않고도 요약의 개괄성과 일관성을 향상시키기 위해.
• 저자원 또는 도메인 이동 상황(예: 날짜가 지난 데이터로 훈련한 후 최신 뉴스를 요약하는 경우)에서 전도적 학습의 효과성을 입증하기 위해.

제안 방법

• 별도의 추출적 모델을 사용해 테스트 입력 기사에서 주요 문장을 선택하여 추출적 가짜 기준을 구성합니다.
• 마스크된 입력 기사에서 주요 문장을 예측하기 위한 노이즈 제거 목적을 적용하여 복사와 생성 간 균형을 맞춥니다.
• 훈련 중에 개괄적 참조 요약과 추출적 가짜 기준 요약을 동시에 미세조정합니다.
• 같은 이중 목적을 사용해 주요 문장과 마스크된 입력을 활용해 테스트 입력에 대해 추가로 미세조정함으로써 전도적 학습을 수행합니다.
• 이중 미세조정 중에 개괄적 감독을 위해 훈련 데이터의 약 ~5%만 사용하여 추가적인 훈련 비용을 최소화합니다.
• 모델 아키텍처를 유지하고 구조적 변경 없이 기존 모델에 즉시 통합할 수 있도록 합니다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 존재하지 않는 새로운 개체와 사건을 포함한 테스트 기사에서 전도적 학습이 개괄적 요약 성능을 향상시킬 수 있는가?
• RQ2 미세조정 중에 추출적 가짜 기준과 개괄적 요약을 동시에 예측하는 것이 모델의 일반화 능력과 요약 품질에 어떤 영향을 미치는가?
• RQ3 테스트 입력에 대해 전도적 학습을 적용하면 표준적인 미세조정 대비 더 개괄적이고 일관성 있는 요약을 얻을 수 있는가?
• RQ4 이 방법은 날짜가 지난 뉴스로 훈련한 모델이 최신의, 아직 보지 못한 뉴스 기사에 대해 효과적으로 적응할 수 있는가?
• RQ5 주요 문장 선택과 노이즈 제거 목적의 사용이 모델 성능과 훈련 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법 TRSUM은 CNN/DM에서 최신의 ROUGE-L 점수를 기록하여 이전 방법 대비 1.05 포인트 향상되었습니다.
• NYT 데이터셋에서는 ROUGE-L 점수를 0.74 포인트 향상시켜 다양한 도메인에서 일관된 성능 향상을 보였습니다.
• 전도적 학습은 자동 평가 및 인간 평가를 통해 요약의 개괄성과 일관성을 크게 향상시켰습니다.
• 날짜가 지난 뉴스로 미세조정한 후 최신 뉴스에 적용해도 높은 성능을 유지하여 강력한 도메인 일반화 능력을 보였습니다.
• 전도적 학습은 8GB GPU 인스턴스에서 약 15분의 추론 시간 계산만 추가로 소요되어 실용적인 실전 배포에 적합합니다.
• 추출적 가짜 기준과 개괄적 요약을 함께 사용한 이중 미세조정이 단순히 개괄적 참조 요약만을 사용한 표준 미세조정보다 성능이 뛰어납니다.