[논문 리뷰] LitSumm: Large language models for literature summarisation of non-coding RNAs

Andrew R. Green, Carlos Eduardo Ribas외 5명|arXiv (Cornell University)|2023. 11. 06.

RNA modifications and cancer인용 수 4

한 줄 요약

이 논문은 비코딩 RNA(ncRNA)의 과학 문헌에 대해 사실적이고 정확한 요약을 생성하기 위해 보정된 대규모 언어 모델(LLM)과 구조화된 프롬프팅, 자동 검증을 활용하는 LitSumm 시스템을 소개한다. 이 방법은 수작업 평가에서 높은 점수를 기록했으며, 4,600개 이상의 ncRNA에 대해 적용되어 RNAcentral를 통해 공개적으로 이용 가능하게 되었다.

ABSTRACT

Curation of literature in life sciences is a growing challenge. The continued increase in the rate of publication, coupled with the relatively fixed number of curators worldwide presents a major challenge to developers of biomedical knowledgebases. Very few knowledgebases have resources to scale to the whole relevant literature and all have to prioritise their efforts. In this work, we take a first step to alleviating the lack of curator time in RNA science by generating summaries of literature for non-coding RNAs using large language models (LLMs). We demonstrate that high-quality, factually accurate summaries with accurate references can be automatically generated from the literature using a commercial LLM and a chain of prompts and checks. Manual assessment was carried out for a subset of summaries, with the majority being rated extremely high quality. We apply our tool to a selection of over 4,600 ncRNAs and make the generated summaries available via the RNAcentral resource. We conclude that automated literature summarization is feasible with the current generation of LLMs, provided careful prompting and automated checking are applied.

연구 동기 및 목표

• 비코딩 RNA(ncRNA) 연구 분야에서 급격히 확장되고 있는 문헌 큐레이션의 도전 과제를 해결하기 위해.
• 대규모 언어 모델(LLM)을 활용한 문헌 요약 자동화를 통해 수작업 큐레이션에 대한 의존도를 줄이기 위해.
• 정확한 참조를 포함한 사실적으로 정확한 요약을 생성하는 확장 가능하고 신뢰할 수 있는 방법을 개발하기 위해.
• 수작업 평가를 통해 LLM에 의해 생성된 요약의 품질을 평가하기 위해.
• 시스템을 대규모로 구현하여 4,600개 이상의 ncRNA에 대해 요약을 생성하고, 이를 RNAcentral 지식기반에 통합하기 위해.

제안 방법

• 구조화된 요약 생성을 위해 사슬형 사고 프롬프팅 전략을 적용한 상용 대규모 언어 모델(LLM)을 활용한다.
• 기능적 역할, 발현 패tern, 분자 상호작용 등 핵심 사실을 추출할 수 있도록 프롬프트의 시퀀스를 설계한다.
• 생성된 요약의 사실 일관성과 참조 정확성을 검증하기 위해 자동 검증 절차를 구현한다.
• 인용문이 실제로 존재하는 문헌 항목과 대응되도록 참조 기반 기반 기술을 적용한다.
• 최종 배포 이전에 반복적 개선 및 필터링을 통해 요약 품질을 향상시킨다.
• 최종 요약을 RNAcentral 데이터베이스에 통합하여 연구자들이 공개적으로 접근할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLM)은 최소한의 인간 간섭으로 비코딩 RNA 문헌에 대해 사실적으로 정확한 요약을 생성할 수 있는가?
• RQ2 수작업 평가에서 LLM에 의해 생성된 요약의 품질은 인간 큐레이션 기준과 비교해 어떻게 평가되는가?
• RQ3 구조화된 프롬프팅과 자동 검증이 LLM에 의해 생성된 요약의 사실 일관성에 상당한 향상을 이끌 수 있는가?
• RQ4 이 접근 방식은 대규모 비코딩 RNA 집합에 대해 얼마나 확장 가능한가?
• RQ5 이러한 요약은 RNAcentral와 같은 기존 생물학 지식기반에 신뢰성 있게 통합될 수 있는가?

주요 결과

• 수작업 평가된 대부분의 요약이 매우 높은 품질로 평가되어 전문가 큐레이션 기준과 강한 일치를 보였다.
• 시스템은 4,600개 이상의 비코딩 RNA에 대해 요약을 성공적으로 생성하여 확장 가능성을 입증했다.
• 자동 검증 절차가 요약의 사실 정확성과 참조 정확성에 상당한 향상을 이끌었다.
• 체인형 프롬프팅 접근 방식을 통해 기능적 역할과 조절 메커니즘을 포함한 핵심 생물학적 사실을 일관되게 추출할 수 있었다.
• 최종 요약은 RNAcentral에 통합되어 연구자들이 공개적으로 접근할 수 있도록 되었다.
• 결과적으로 현재의 LLM은 신중한 프롬프팅과 검증 절차를 병행할 경우, 게놈학 분야에서 신뢰할 수 있는 문헌 요약을 생성할 수 있음을 확인했다.