[논문 리뷰] Dimsum @LaySumm 20: BART-based Approach for Scientific Document Summarization

Tiezheng Yu, Dan Su외 2명|arXiv (Cornell University)|2020. 10. 19.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 과학적 문서의 대중 요약을 위한 BART 기반 모델을 제안하며, 문장 수준의 레이블을 보조 지도 신호로 사용하여 성능을 향상시킨다. 이 방법은 CL-LaySumm 2020 공동 과제에서 46.00%의 Rouge1-F1 점수를 기록하여, 다중 레이블 지도 학습이 개재 요약 과정에서 더 나은 문장 수준 이해를 가능하게 하여 정밀도와 F1 점수를 향상시킨다는 것을 입증한다.

ABSTRACT

Lay summarization aims to generate lay summaries of scientific papers automatically. It is an essential task that can increase the relevance of science for all of society. In this paper, we build a lay summary generation system based on the BART model. We leverage sentence labels as extra supervision signals to improve the performance of lay summarization. In the CL-LaySumm 2020 shared task, our model achieves 46.00\% Rouge1-F1 score.

연구 동기 및 목표

• 과학 연구에 대한 일반 대중의 접근성을 높이기 위한 자동화된 대중 요약의 증가하는 필요를 해결한다.
• 문장 수준의 레이블을 보조 지도 신호로 통합하여 과학 논문의 개재 요약 성능을 향상시킨다.
• 입력 구성(초록, 서론, 결론), 데이터 증강, 이중 단계 미세조정이 요약 성능에 미치는 영향을 조사한다.
• 다중 레이블 지도 학습이 대중 요약의 모델 정밀도와 F1 점수 향상에 미치는 영향을 평가한다.
• 일般 청중에게 적합한 간결하고 비기술적인 요약을 생성하기 위한 강건하고 이식 가능한 모델을 개발한다.

제안 방법

• 초록, 서론, 결론 섹션으로 구성된 입력을 사용하여 과학 논문에 대해 BART large 모델을 미세조정한다.
• 각 문장 앞에 [CLS] 토큰을 삽입하고, 훈련 중에 이진 문장 레이블을 추가 지도 신호로 사용한다.
• 개재 요약 손실과 추출적 문장 선택 손실을 조합하여 엔드 투 엔드로 모델을 훈련한다.
• GPU 메모리 제약로 인해 1000단계의 웜업을 가지며, 기울기 누적을 10회 반복하는 동적 학습률 스케줄링을 적용한다.
• 동의어 기반 데이터 증강을 구현하여 훈련 데이터의 다양성을 높였지만, 문법적 노이즈의 잠재적 영향으로 인해 성과는 제한적이었다.
• 이중 단계 미세조정 전략을 적용하여 먼저 ScisummNet에서, 그 다음 CL-LaySumm 2020에서 미세조정했지만, 도메인 간 차이로 인해 성능 향상이 없었다.

실험 결과

연구 질문

• RQ1 문장 수준의 레이블을 지도 신호로 통합할 경우, 개재 대중 요약 성능는 어떻게 향상되는가?
• RQ2 요약의 정밀도와 품질을 높이기 위해 최적의 입력 구성(예: 초록만 vs. 초록+서론+결론)은 무엇인가?
• RQ3 동의어 교체를 활용한 데이터 증강이 CL-LaySumm 2020 벤치마크에서 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ4 ScisummNet에서의 이중 단계 미세조정 이후 CL-LaySumm 2020에서의 미세조정이 도메인 차이가 존재함에도 성능 향상에 기여하는가?
• RQ5 다양한 입력 길이와 콘텐츠 선택 전략은 모델이 정확하고 간결한 대중 요약을 생성하는 데 어떤 영향을 미치는가?

주요 결과

• 서론과 결론을 입력에 추가함으로써 Rouge1-F1 점수가 초록 전용일 경우 43.50%에서 45.36%로 상승한다.
• 서론의 전체 내용을 사용하는 것보다 첫 번째 단락만 사용하는 것이 약간 더 낮은 성능을 보이며, 이는 입력 길이 증가와 노이즈 증가로 인한 것으로 보인다.
• 다중 레이블 지도 학습을 통해 Rouge1-F1 점수가 46.00%로 상승하고 정밀도가 향상되어 더 나은 문장 수준의 중요도 탐지 능력을 보였다.
• 동의어 교체를 활용한 데이터 증강은 성능 향상에 기여하지 않았고, 노이즈를 유발하여 모델의 강건성 저하를 초래할 수 있었다.
• 이중 단계 미세조정은 도메인 간 차이(ScisummNet: 계산 언어학 vs. CL-LaySumm 2020: 다중 도메인 과학 논문)로 인해 성능 향상에 실패했다.
• 최종 모델은 CL-LaySumm 2020 테스트 세트에서 46.00%의 Rouge1-F1 점수를 기록하여, 다중 레이블 지도 학습이 없는 기준 BART 모델보다 뛰어난 성능을 보였다.