[논문 리뷰] AdaptSum: Towards Low-Resource Domain Adaptation for Abstractive Summarization

Tiezheng Yu, Zihan Liu외 1명|arXiv (Cornell University)|2021. 03. 21.

Topic Modeling참고 문헌 60인용 수 11

한 줄 요약

이 논문은 여섯 가지 다양한 도메인을 아우르는 저자원 추상적 요약을 위한 AdaptSum 벤치마크를 소개하고, 대규모 생성 모델에 대해 세 가지 제2단계 사전학습 전략—소스 도메인, 도메인 적응형, 작업 적응형 사전학습—을 조사한다. 연구 결과, 소스 도메인 사전학습(SDPT)과 작업 적응형 사전학습(TAPT)은 소수 샘플 성능을 향상시키지만, 도메인 적응형 사전학습(DAPT)은 사전학습 데이터가 목표 도메인과 유사할 때에만 효과가 있다. 또한, RecAdam은 계속되는 사전학습 중 치명적인 기억 상실을 완화하여 TAPT 성능을 크게 향상시킨다.

ABSTRACT

State-of-the-art abstractive summarization models generally rely on extensive labeled data, which lowers their generalization ability on domains where such data are not available. In this paper, we present a study of domain adaptation for the abstractive summarization task across six diverse target domains in a low-resource setting. Specifically, we investigate the second phase of pre-training on large-scale generative models under three different settings: 1) source domain pre-training; 2) domain-adaptive pre-training; and 3) task-adaptive pre-training. Experiments show that the effectiveness of pre-training is correlated with the similarity between the pre-training data and the target domain task. Moreover, we find that continuing pre-training could lead to the pre-trained model's catastrophic forgetting, and a learning method with less forgetting can alleviate this issue. Furthermore, results illustrate that a huge gap still exists between the low-resource and high-resource settings, which highlights the need for more advanced domain adaptation methods for the abstractive summarization task.

연구 동기 및 목표

• 다양한 도메인에서 추상적 요약을 위한 저자원 도메인 적응 벤치마크의 부족을 해결하기 위해.
• 저자원 설정 하에서 제2단계 사전학습 전략—소스 도메인, 도메인 적응형, 작업 적응형 사전학습—의 효과성을 조사하기 위해.
• 도메인 적응형 사전학습이 성능을 향상시키는지, 그리고 사전학습 데이터와 목표 작업 간의 데이터 유사성에 민감한지 조사하기 위해.
• 계속되는 사전학습 중 치명적인 기억 상실의 영향을 평가하고 RecAdam을 사용하여 이를 완화하기 위해.
• 저자원 추상적 요약의 핵심 과제를 부각하고 향후 연구를 안내하기 위해.

제안 방법

• 여섯 가지 기존 데이터셋(대화, 이메일, 영화 리뷰, 논의, 소셜 미디어, 과학)을 조합하여 저자원 설정을 시뮬레이션하기 위해 훈련 샘플 수를 줄여 저자원 벤치마크를 구축한다.
• 세 가지 제2단계 사전학습 전략을 적용한다: 레이블이 부여된 요약 데이터셋에서 소스 도메인 사전학습(SDPT), 도메인 특화된 비레이블 텍스트에서 도메인 적응형 사전학습(DAPT), 소규모 작업 관련 비레이블 텍스트에서 작업 적응형 사전학습(TAPT).
• BART를 기본 생성 모델로 사용하고, 각 사전학습 단계 이후에 요약 생성을 위해 피나이팅한다.
• 계속되는 사전학습 중 치명적인 기억 상실을 줄이기 위해 파rameter 효율적이고 기억 상실을 고려한 최적화 방법인 RecAdam을 도입한다.
• 평가에는 ROUGE 점수(F1)를 사용하고, 다양한 자원 수준(50개, 2%, 25%, 100% 훈련 샘플)에서 분석을 수행한다.
• 사전학습 도메인과 목표 도메인 간의 유사성을 평가하기 위해 어휘 겹침과 데이터 통계를 분석한다.

실험 결과

연구 질문

• RQ1 다양한 제2단계 사전학습 전략(SDPT, DAPT, TAPT)은 저자원 추상적 요약에서 얼마나 효과적인가?
• RQ2 사전학습 데이터와 목표 도메인 데이터 간의 유사성이 도메인 적응형 사전학습(DAPT)의 성능에 영향을 미치는가?
• RQ3 계속되는 사전학습 중 치명적인 기억 상실이 성능에 얼마나 심각하게 악영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ4 훈련 샘플 수가 감소함에 따라 성능은 어떻게 변하는가, 특히 극도로 저자원 설정(예: 50개 샘플)에서 어떻게 되는가?
• RQ5 저자원 도메인에 적합한 추상적 요약 모델을 적응시키는 데 있어 핵심 과제는 무엇인가?

주요 결과

• XSum 기반의 소스 도메인 사전학습(SDPT)은 CNN/DM 기반의 SDPT보다 성능이 뛰어나며, 특히 입력 및 요약 길이가 짧은 도메인에서 유의미한 성능 향상을 보인다. 이는 XSum이 더 높은 비율의 신규 토큰을 포함하고 있고, 요약 일반화 능력이 뛰어나기 때문이다.
• 작업 적응형 사전학습(TAPT)은 저자원 설정에서 피나이팅보다 일관되게 성능 향상을 보이지만, 중간 및 고자원 설정에서는 치명적인 기억 상실로 인해 성능이 저하된다.
• 도메인 적응형 사전학습(DAPT)은 사전학습 코퍼스가 목표 도메인과 유사할 경우에만 성능 향상을 보이며, 否론 성능이 열 劣한다. 이는 분류 작업에서의 결과와 정반대되며, 이는 도메인 특화 사전학습의 유의미성에 의문을 제기한다.
• RecAdam은 TAPT 중 치명적인 기억 상실을 효과적으로 줄여 주며, 특히 저자원 시나리오에서 뚜렷한 성능 향상을 이끌어낸다.
• 최적의 사전학습을 해도 저자원 설정과 고자원 설정 간에 큰 성능 격차가 여전히 존재하며, 50개의 훈련 샘플만으로는 모델 성능이 매우 열 劣하다.
• 중간 자원 데이터를 사용한 DAPT는 고자원 설정 수준에 가까운 성능을 달성한다. 이는 대규모 사전학습과 효과적인 제2단계 사전학습이 데이터 부족을 부분적으로 보완할 수 있음을 시사한다.