[논문 리뷰] Named Entity Inclusion in Abstractive Text Summarization

Sergey Berezin, Tatiana Batura|arXiv (Cornell University)|2023. 07. 05.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 도메인 특화 명명된 엔티티에 주의를 기울이기 위해, 미세조정된 RoBERTa NER 모델로 탐지한 엔티티를 마스킹하는 방식의 사전학습 방법인 마스킹된 명명된 엔티티 언어 모델링(MNELM)을 제안한다. 이 방법은 표준 MLM 사전학습 대비 명명된 엔티티 포함 정밀도(0.93 대 0.86)와 재현율(0.39 대 0.38)을 향상시키며, 경쟁적인 ROUGE 점수를 유지한다.

ABSTRACT

We address the named entity omission - the drawback of many current abstractive text summarizers. We suggest a custom pretraining objective to enhance the model's attention on the named entities in a text. At first, the named entity recognition model RoBERTa is trained to determine named entities in the text. After that, this model is used to mask named entities in the text and the BART model is trained to reconstruct them. Next, the BART model is fine-tuned on the summarization task. Our experiments showed that this pretraining approach improves named entity inclusion precision and recall metrics.

연구 동기 및 목표

• 특히 엔티티 정확도가 중요한 과학적 텍스트에서 지속적으로 발생하는 명명된 엔티티 누락 문제를 해결한다.
• 원본 텍스트에서 핵심 도메인 특화 명명된 엔티티를 유지함으로써 생성된 요약의 신뢰성과 일관성을 높인다.
• 외부 지식 기반 또는 규칙 기반 제약 없이도 모델이 명명된 엔티티에 내재적으로 인지하도록 사전학습 전략을 개발한다.
• 사전학습 단계에서 명명된 엔티티에 주목하게 함으로써 요약 작업에서 더 빠른 수렴과 더 나은 사실적 일관성을 달성한다.
• 기존 방법이 참조 요약이나 关련어 추출에 의존하는 것과 달리, 비지도이고 확장 가능한 대안을 제공한다.

제안 방법

• 과학적 엔티티(예: 방법, 측정법, 과제)를 과학적 텍스트에서 식별하기 위해 SCIERC 데이터셋에서 RoBERTa 기반 명명된 엔티티 인식(NER) 모델을 훈련한다.
• 훈련된 NER 모델을 사용해 ArXiv 데이터셋의 과학적 텍스트에서 명명된 엔티티를 자동으로 식별하고 [mask] 토큰으로 마스킹한다.
• 모델이 원래의 명명된 엔티티를 복원해야 하는 마스킹된 언어 모델링 목적을 사용해, 마스킹된 과학적 텍스트를 기반으로 BART 모델을 사전학습한다.
• 표준 순서-순서(sequence-to-sequence) 학습을 사용해 단일 에포크 동안 요약 작업에 대해 사전학습된 BART 모델을 미세조정한다.
• MNELM 사전학습 동안 50%의 마스킹 확률을 적용하여 엔티티 집중과 일반 언어 모델링 간의 균형을 유지한다.
• MNELM 사전학습 동안 매 10,000 스텝마다 학습률 스케줄러를 감소시키고, 미세조정 동안 매 5,000 스텝마다 감소시켜 과적합을 방지한다.

Figure 1: Training sequence

실험 결과

연구 질문

• RQ1 명명된 엔티티 복원에 중점을 둔 사전학습 목표가 추상적 요약에서 엔티티 포함에 기여하는가?
• RQ2 표준 MLM 사전학습 대비 MNELM 사전학습은 명명된 엔티티 정밀도와 재현율 측면에서 어떻게 비교되는가?
• RQ3 MNELM 사전학습은 강력한 ROUGE 점수를 유지하면서 요약 작업에서 더 빠른 수렴을 이끌어내는가?
• RQ4 외부 지식 기반 또는 참조 요약 감시 없이도 이 방법을 효과적으로 적용할 수 있는가?
• RQ5 엔티티 중심 사전학습은 명명된 엔티티와 관련된 환각 현상을 어느 정도 감소시키는가?

주요 결과

• MNELM 사전학습을 거친 BART 모델은 명명된 엔티티 정밀도 0.93을 달성했으며, 표준 MLM 기준선의 0.86보다 유의미하게 높았다.
• MNELM를 사용한 결과 재현율은 0.39로 상승했으며, 표준 MLM 대비 0.38보다 높아 원본 엔티티의 커버리지가 향상되었다.
• 전반적인 ROUGE 점수는 낮아졌지만(예: ROUGE-1 F1: 0.36 대 0.35), MNELM 모델은 특히 엔티티 관련 지표에서 더 빠른 수렴을 보였다.
• 생성 과정에서 도메인 특화 엔티티에 더 강한 주의를 기울여 핵심 용어의 환각이나 누락 가능성을 낮췄다.
• 모델이 일반 어휘가 아닌 실제 명명된 엔티티를 복원하도록 집중함으로써 엔티티 관련 환각 현상이 효과적으로 감소했다.
• 라벨이 적은 데이터로도 NER에 대해 효과적으로 작동하며, 이는 미세조정된 RoBERTa 모델을 활용해 고품질의 마스킹을 사전학습에 활용하기 때문이다.