[논문 리뷰] MS2: Multi-Document Summarization of Medical Studies

Jay DeYoung, Iz Beltagy외 3명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 81인용 수 8

한 줄 요약

MS^2는 의료 분야의 다중문서 요약을 위한 대규모 공개 데이터셋으로, 20,000건의 생물의학적 종합검토와 470,000건의 관련 연구 초록을 포함한다. 본 논문은 텍스트 기반 요약을 위한 BART 기반 seq2seq 모델과 PICO 요소를 활용한 구조화된 테이블 기반 요약 작업을 제안하여, 금본 요약과의 일치도 약 50%를 달성하며, 문헌 검토의 자동화를 위한 기초 단계를 마련한다.

ABSTRACT

To assess the effectiveness of any medical intervention, researchers must conduct a time-intensive and highly manual literature review. NLP systems can help to automate or assist in parts of this expensive process. In support of this goal, we release MS^2 (Multi-Document Summarization of Medical Studies), a dataset of over 470k documents and 20k summaries derived from the scientific literature. This dataset facilitates the development of systems that can assess and aggregate contradictory evidence across multiple studies, and is the first large-scale, publicly available multi-document summarization dataset in the biomedical domain. We experiment with a summarization system based on BART, with promising early results. We formulate our summarization inputs and targets in both free text and structured forms and modify a recently proposed metric to assess the quality of our system's generated summaries. Data and models are available at https://github.com/allenai/ms2

연구 동기 및 목표

• 생물의학 문헌 검토의 시간 소모가 크고 수작업에 의존하는 과정을 해결하기 위해, 다중문서 요약을 위한 확장 가능하고 공개 가능한 데이터셋을 구축하는 것.
• NLP 시스템이 다수의 의료 연구에서 모순되는 증거를 통합하고 요약할 수 있도록 하는 것.
• 특히 스코핑 또는 탐색적 종합검토를 위한 자동화된 도구 개발을 지원하는 것.
• 자유 텍스트와 구조화된(PICO 기반) 요약 형식을 모두 도입하여, 모델 출력의 세밀한 평가를 가능하게 하는 것.
• 복잡한 증거 통합과 품질 평가 모델링을 위한 자원을 제공하여 생물의학 분야의 NLP 발전을 이끄는 것.

제안 방법

• MS^2 데이터셋은 Semantic Scholar 코퍼스에서 추출하여 종합검토와 그에 인용된 연구 초록을 확보한다.
• 연구 초록을 입력으로, 종합검토의 요약 섹션을 타겟으로 삼아 텍스트 기반 다중문서 요약(MDS) 작업을 정의하여 순서 기반 모델링을 가능하게 한다.
• 여러 연구 초록 입력에서 요약을 생성하기 위해 데이터셋에 기반한 BART 기반 모델을 미세조정한다.
• 기존 생물의학 정보 추출 도구를 활용해 PICO(Population, Intervention, Comparator, Outcome) 요소를 추출하여, 구조화된 테이블 기반의 형식을 도입한다.
• 생성된 요약을 금본 구조화된 요약과 비교하여, 요약 품질을 평가하기 위해 수정된 메트릭을 사용한다.
• 데이터셋은 종단 간 요약뿐만 아니라 중간 단계의 구조화된 추론도 지원하여 사실 일致성과 증거 방향성 평가가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 순서 기반 모델이 다수의 의료 연구를 일관되고 증거 일치성이 확보된 요약으로 효과적으로 요약할 수 있는가?
• RQ2 모델이 생성한 요약이 금본 종합검토에 기재된 증거 방향성(예: 긍정적, 부정적, 중립적)과 얼마나 잘 일치하는가?
• RQ3 구조화된 PICO 기반 표현 방식이 다중문서 의료 요약의 해석 가능성과 평가 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 데이터셋이 연구 간 모순 증거를 체계적인 방식으로 다룰 수 있는 시스템 개발을 지원할 수 있는가?
• RQ5 자유 텍스트 대비 구조화된 입력 표현 방식을 사용할 경우, BART 기반 모델의 생물의학 요약 성능는 어떻게 비교되는가?

주요 결과

• BART 기반 모델은 금본 증거 방향성과 약 50% 일치도를 보이며 유창한 요약을 생성한다.
• 데이터셋은 20,000건의 종합검토와 470,000건의 연구 초록을 포함하여, 생물의학 분야에서 가장 큰 공개된 다중문서 요약 데이터셋이다.
• 연구 출판과 종합검토 출판 사이의 시간 격차는 약 8년으로, 문헌 통합의 자동화 필요성을 부각시킨다.
• 구조화된 PICO 기반 형식은 요약 품질 평가와 증거 일치도 평가의 세분화를 가능하게 한다.
• 데이터셋은 텍스트 기반 요약과 테이블 기반 요약 작업을 모두 지원하여 다양한 평가 체계를 가능하게 한다.
• 구조화된 출력에 적합하게 수정된 평가 메트릭은 생성된 요약의 사실 일치성과 증거 일치도 평가를 신뢰성 있게 지원한다.