[논문 리뷰] What's New? Summarizing Contributions in Scientific Literature

Hiroaki Hayashi, Wojciech Kryściński외 3명|arXiv (Cornell University)|2020. 11. 06.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 과학 논문의 기여 사항과 배경을 별도로 요약하는 새로운 작업인 분리된 논문 요약을 소개한다. 이는 독해성과 유용성을 향상시킨다. 정교한 레이블이 부여된 확장된 S2ORC 데이터셋을 사용하여, 저자들은 추상적 요약 기반의 세 가지 베이스라인 모델과 종합적인 평가 프로토콜을 제안한다. 인간 평가를 통해 분리된 요약이 기존의 개요 기반 요약보다 79%의 경우에서 선호됨을 확인하였다.

ABSTRACT

With thousands of academic articles shared on a daily basis, it has become increasingly difficult to keep up with the latest scientific findings. To overcome this problem, we introduce a new task of disentangled paper summarization, which seeks to generate separate summaries for the paper contributions and the context of the work, making it easier to identify the key findings shared in articles. For this purpose, we extend the S2ORC corpus of academic articles, which spans a diverse set of domains ranging from economics to psychology, by adding disentangled "contribution" and "context" reference labels. Together with the dataset, we introduce and analyze three baseline approaches: 1) a unified model controlled by input code prefixes, 2) a model with separate generation heads specialized in generating the disentangled outputs, and 3) a training strategy that guides the model using additional supervision coming from inbound and outbound citations. We also propose a comprehensive automatic evaluation protocol which reports the relevance, novelty, and disentanglement of generated outputs. Through a human study involving expert annotators, we show that in 79%, of cases our new task is considered more helpful than traditional scientific paper summarization.

연구 동기 및 목표

• 다양한 청중을 위해 과학 문헌의 급격한 증가에 대응하기 위해 과학 논문 요약의 품질을 향상시키는 데 목적을 둔다.
• 기존의 요약이 개요를 기준 요약으로 간주하는 데서 비롯하는 한계를 해결한다. 이는 종종 불필요한 정보를 포함하고 있으며, 기존의 인간이 작성한 요약이 존재하므로 중복된다.
• 새로운 작업인 분리된 논문 요약을 개발한다. 이는 신규 기여 사항에 집중하는 요약과 배경 맥락에 집중하는 요약을 별도로 생성한다.
• 감독 학습을 지원하기 위해 자동으로 생성된 기여 사항 및 배경 기준 요약을 포함한 대규모 다중 분야 데이터셋을 구축한다.
• 전문가의 인간 평가와 비교 분석을 통해 실제 연구 환경에서 분리된 요약의 유용성을 평가한다.

제안 방법

• 자동 히우리스틱과 인용 메타데이터를 사용하여 S2ORC 코퍼스를 기여 사항과 배경에 대한 분리된 '기여' 및 '배경' 기준 요약으로 확장한다.
• 세 가지 추상적 베이스라인 모델을 설계한다: (1) 입력 프리픽스 코드로 제어되는 통합 모델, (2) 분기형 디코더를 갖춘 일대다 시퀀스 모델, (3) 정보 이론적 목표를 사용한 인용 기반 감독으로 훈련된 모델.
• ROUGE 점수와 인간 평가 지표를 사용하여 관련성, 신선도, 분리도를 측정하는 종합적인 자동 평가 프로토콜을 개발한다.
• 전문 평가자들이 가상의 논문 심사 환경에서 분리된 요약과 요약 기반 요약을 비교하는 인간 연구를 수행한다.
• CORD 데이터셋(COVID-19 문헌)에서 제로샷 생성을 통해 훈련 분포 외의 일반화 능력을 테스트한다.
• 의학 등 고정량 분야를 포함한 10개의 과학 분야에서 다중 분야 평가를 수행하여 모델 성능의 변동성을 분석한다.

실험 결과

연구 질문

• RQ1 분리된 요약은 기존의 요약 기반 요약과 비교해 연구자들에게 자동 요약의 유용성을 크게 향상시킬 수 있는가?
• RQ2 제어 프리픽스, 분기 디코더, 인용 유도 모델 등 다양한 모델 아키텍처는 분리된 기여 사항 및 배경 요약 생성에 어떻게 성능을 내는가?
• RQ3 인용 기반 감독은 생성된 요약의 품질과 분리도에 어떤 영향을 미치는가?
• RQ4 모델 성능은 과학 분야에 따라 어떻게 변화하는가? 특히 의학과 같은 고정량 분야에서의 변화는?
• RQ5 실제 연구 평가 작업에서 전문 리뷰어들이 표준 요약보다 분리된 요약을 어느 정도 선호하는가?

주요 결과

• 인간 평가에서 분리된 요약은 요약 기반 요약보다 79%의 경우에서 선호되었으며, CORD(COVID-19) 예제에서는 81%, S2ORC에서는 77%의 선호도를 보였다.
• ControlCode 모델은 생물학 분야에서 가장 높은 ROUGE-L 점수(64.23)를 기록했지만, 의학 분야는 가장 낮은 성능(R-1: 21.73)을 보여, 분야별 도전 과제를 시사한다.
• 의학 분야 요약은 낮은 점수의 정량적 출력이 현저히 많았으며, 생물학 분야 대비 1.9배 더 많은 경우가 발생하여, 분야별 미세조정이 필요함을 시사한다.
• 인용 기반 감독 전략은 분리도와 신선도를 향상시켰으며, 이는 인용 메타데이터가 추상적 요약에 효과적인 감독으로 기능할 수 있음을 보여준다.
• 분기형 디코더를 갖춘 일대다 모델은 강력한 분리도를 달성하여 통합 모델보다 기여 사항과 배경 콘텐츠를 더 잘 분리하는 데 성공했다.
• 종합적인 평가 프로토콜은 관련성, 신선도, 분리도의 차이를 성공적으로 포착하여, 다양한 분야 간 신뢰할 수 있는 모델 비교를 가능하게 하였다.