[논문 리뷰] Overview and Results: CL-SciSumm Shared Task 2019

Muthu Kumar Chandrasekaran, Michihiro Yasunaga외 3명|arXiv (Cornell University)|2019. 07. 23.

Topic Modeling참고 문헌 14인용 수 16

한 줄 요약

이 논문은 계산언어학 분야에서 과학문서 요약을 평가하는 중규모 평가인 CL-SciSumm 2019 공동과제의 결과를 제시한다. 40편의 기준 논문과 SciSummNet에서 유래한 1,000편의 추가 논문으로 구성된 데이터셋을 사용하여 세 가지 과제를 평가한다: 인용된 텍스트 조각 식별(1A), 논의 요소 분류(1B), 개괄적 요약 생성(2). 주요 발견은 대규모 노이즈 있는 데이터로 훈련된 딥러닝 모델이 요약 생성 과제에서 전통적 방법을 능가하지만, 소규모 정제된 데이터에서는 전통적 방법이 더 우수하다는 것이다.

ABSTRACT

The CL-SciSumm Shared Task is the first medium-scale shared task on scientific document summarization in the computational linguistics~(CL) domain. In 2019, it comprised three tasks: (1A) identifying relationships between citing documents and the referred document, (1B) classifying the discourse facets, and (2) generating the abstractive summary. The dataset comprised 40 annotated sets of citing and reference papers of the CL-SciSumm 2018 corpus and 1000 more from the SciSummNet dataset. All papers are from the open access research papers in the CL domain. This overview describes the participation and the official results of the CL-SciSumm 2019 Shared Task, organized as a part of the 42nd Annual Conference of the Special Interest Group in Information Retrieval (SIGIR), held in Paris, France in July 2019. We compare the participating systems in terms of two evaluation metrics and discuss the use of ROUGE as an evaluation metric. The annotated dataset used for this shared task and the scripts used for evaluation can be accessed and used by the community at: https://github.com/WING-NUS/scisumm-corpus.

연구 동기 및 목표

• 계산언어학 분야에서 과학적 인용 분석과 개괄적 요약 생성에 중점을 둔 공동과제를 도입함으로써 자동 과학문서 요약 기술을 발전시키기 위해.
• 참가 시스템을 세 가지 상호연관된 과제에서 평가하기 위해: 인용 문장에서 기준 논문의 인용된 텍스트 조각에 대한 정렬(1A), 논의 요소 분류(1B), 개괄적 요약 생성(2).
• 재현 가능한 과학요약 연구를 지원하기 위해, 40편의 기준 논문과 SciSummNet에서 유래한 1,000편의 추가 논문으로 구성된 표준화된 커뮤니티가 주석 처리한 데이터셋을 제공하기 위해.
• 다양한 데이터 품질과 규모에서 딥러닝과 전통적 기계학습 방법의 성능을 비교하기 위해.
• 특히 인용문을 커뮤니티가 만든 요약으로 활용하고 ROUGE 기반 평가의 신뢰성을 향상시키는 데 중점을 두어 향후 연구를 위한 기준을 설정하기 위해.

제안 방법

• 공동과제는 CL-SciSumm 2018 코퍼스에서 유래한 40편의 기준 논문과 SciSummNet 데이터셋에서 유래한 1,000편의 추가 논문으로 구성된 데이터셋을 사용하였으며, 모두 오픈 액세스 계산언어학 연구 논문이다.
• 과제 1A에서는 각 인용 문장(citance)을 기준 논문 내에서 가장 관련성이 높은 인용된 텍스트 조각에 매핑하도록 시스템을 요구하였으며, 조각은 최대 5개의 연속 문장으로 제한되었다.
• 과제 1B에서는 공통 주석 체계를 사용하여 각 인용된 조각을 여러 정의된 논의 요소(예: 동기, 방법, 결과) 중 하나로 분류하도록 시스템을 요구하였다.
• 과제 2에서는 인용된 조각과 제공된 초록의 정보를 바탕으로 기준 논문의 개괄적 요약을 생성하도록 시스템을 요구하였으며, 요약 길이는 250단어 이내로 제한되었다.
• 평가에는 ROUGE-1, ROUGE-2, F1 점수를 사용하였으며, 요약 생성 과제에서는 ROUGE-2에 중점을 두었고, 인간 주석 요약과 커뮤니티 생성 요약을 모두 기준으로 하였다.
• 과제 1A에는 유사도 기반 컷오프 방법을 사용한 데이터 증강을 적용하였고, 과제 1B는 증강 없이 수행되어 데이터 품질 수준에 따른 모델 성능 비교가 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 딥러닝과 전통적 기계학습 모델이 CL-SciSumm 2019 과제에서 성능을 비교할 때, 데이터 품질과 규모가 다양할 경우 어떻게 상호 비교되는가?
• RQ2 데이터 증강은 과제 1A의 성능을 향상시키는가? 만약 그렇다면, 어떤 모델 유형(딥러닝 대 전통적 학습)에서 효과가 있는가?
• RQ3 SciSummNet 코퍼스에서 자동으로 주석 처리된 노이즈 있는 데이터로 훈련된 시스템이 소규모 수동으로 코딩된 데이터셋으로 훈련된 시스템보다 성능이 뛰어나게 되는가?
• RQ4 ROUGE 점수는 과학적 요약 평가에서 인간 판단과 얼마나 상관이 있는가? 특히 다양한 유형의 기준 요약에서 어떻게 상관되는가?
• RQ5 대규모 노이즈 있는 데이터로 훈련된 엔드 투 엔드 딥러닝 모델이 과학논문의 개괄적 요약 생성 과제에서 최신 기술 수준에 도달할 수 있는가?

주요 결과

• 과제 1A에서 최고 성능을 기록한 시스템(시스템 3)은 증강된 데이터로 훈련된 딥러닝 모델을 사용하여 F1 점수 0.126을 기록했지만, 이는 이전 CL-SciSumm 2018 최고 성능 시스템의 0.145 F1 점수보다 낮아 데이터 노이즈 문제로 인한 과제의 도전성은 여전히 존재함을 시사한다.
• 청결한 데이터로 훈련된 경우 전통적 기계학습 모델이 과제 1A에서 딥러닝 모델을 앞서나갔지만, 증강된 노이즈 있는 데이터로 훈련된 경우 딥러닝 모델이 승승을 거머쥐었다.
• 과제 1B에서는 전통적 방법이 딥러닝 모델을 앞서나갔으며, 이는 데이터 증강이 없고 요소 분류의 복잡성으로 인해 발생한 것으로 보인다.
• 과제 2에서 최고 성능을 기록한 시스템(시스템 2)은 인간이 작성한 요약에 대해 ROUGE-2 점수 0.278을 기록하여 CL-SciSumm 2018 최고 성능 시스템의 0.252 점수를 초월했으며, 이는 SciSummNet에서 유래한 추가 훈련 데이터의 이점임을 보여준다.
• 시스템 3는 기준 초록에 대해 ROUGE-2 점수 0.514를 기록하여 최신 기술 수준을 0.2점 향상시켰고, 커뮤니티 요약에 대해서는 0.204 점수를 기록하여 요약 유형 간 일반화 능력이 뛰어남을 보여주었다.
• 결과는 충분한 훈련 데이터가 확보된 경우 딥러닝 모델이 전통적 방법보다 더 효과적임을 시사하며, 반면 소규모 정제된 데이터셋에서는 전통적 방법이 텍스트 조각 식별 과제에서 여전히 슈퍼리어한 성능을 보인다.