[論文レビュー] LitSumm: Large language models for literature summarisation of non-coding RNAs

Andrew R. Green, Carlos Eduardo Ribas+5 more|arXiv (Cornell University)|Nov 6, 2023

RNA modifications and cancer被引用数 4

ひとこと要約

本稿では、構造化プロンプトと自動検証を用いた微調整済みの大規模言語モデル（LLM）を活用し、非コードRNAの科学文献から高品質で事実正確な要約を生成するシステム、LitSummを紹介する。この手法は手動評価で高いスコアを達成し、4,600件を超えるncRNAに対して適用され、RNAcentralを通じて公開された。

ABSTRACT

Curation of literature in life sciences is a growing challenge. The continued increase in the rate of publication, coupled with the relatively fixed number of curators worldwide presents a major challenge to developers of biomedical knowledgebases. Very few knowledgebases have resources to scale to the whole relevant literature and all have to prioritise their efforts. In this work, we take a first step to alleviating the lack of curator time in RNA science by generating summaries of literature for non-coding RNAs using large language models (LLMs). We demonstrate that high-quality, factually accurate summaries with accurate references can be automatically generated from the literature using a commercial LLM and a chain of prompts and checks. Manual assessment was carried out for a subset of summaries, with the majority being rated extremely high quality. We apply our tool to a selection of over 4,600 ncRNAs and make the generated summaries available via the RNAcentral resource. We conclude that automated literature summarization is feasible with the current generation of LLMs, provided careful prompting and automated checking are applied.

研究の動機と目的

• 非コードRNA（ncRNA）研究分野における急速に拡大する文献のキュレーションという増大する課題に対処すること。
• 大規模言語モデルを用いた文献要約の自動化により、人的キュレーションへの依存を低減すること。
• 事実正確な要約を正確な参照とともに生成する、スケーラブルで信頼性の高い手法を開発すること。
• 手動評価を通じてLLMが生成した要約の品質を評価すること。
• 本システムを大規模に展開し、4,600件を超えるncRNAの要約を生成し、RNAcentral知識ベースに統合すること。

提案手法

• キーファクターの抽出を支援するため、思考の流れを段階的に誘導するチェーン・オブ・プロンプト戦略を用いた商用の大規模言語モデル（LLM）を採用し、構造化された要約を生成する。
• 機能的役割、発現パターン、分子的相互作用などの主要な事実を抽出できるように、一連のプロンプトを設計する。
• 生成された要約における事実的一致性と参照の正確性を検証するための自動チェックを実装する。
• 要約に含まれる引用が実際に存在する文献エントリに対応していることを保証するため、参照の根拠付けを実施する。
• 反復的改善とフィルタリングを適用し、最終的な展開前に要約の品質を向上させる。
• 最終的な要約をRNAcentralデータベースに統合し、一般公開する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、最小限の人的介入で、非コードRNA文献の事実正確な要約を生成できるか？
• RQ2 手動評価において、LLMが生成した要約の品質は、人的キュレーション基準と比較してどの程度か？
• RQ3 構造化プロンプトと自動検証は、LLMが生成する要約における事実的一致性を顕著に向上させられるか？
• RQ4 このアプローチは、多数の非コードRNAに対してスケーラブルか？
• RQ5 このような要約は、RNAcentralのような既存の生物学的知識ベースに信頼性を持って統合できるか？

主な発見

• 手動で評価された要約の大多数が極めて高品質であると評価され、専門家によるキュレーション基準と強く一致していることが示された。
• 本システムは4,600件を超える非コードRNAの要約を正常に生成し、スケーラビリティを実証した。
• 自動チェックにより、要約の事実的正確性と参照の正しさが顕著に向上した。
• チェーン・オブ・プロンプト戦略により、機能的役割や調節機構を含む主要な生物学的事実の一貫した抽出が可能になった。
• 最終的な要約はRNAcentralに統合され、研究者による一般公開が可能になった。
• 本結果は、注意深くプロンプトを設計し、検証を実施することで、現在のLLMがゲノム分野において信頼できる文献要約を生成できることを確認した。