[論文レビュー] Gene Set Summarization using Large Language Models

Marcin P. Joachimiak, J. Harry Caufield+3 more|arXiv (Cornell University)|May 21, 2023

Biomedical Text Mining and Ontologies被引用数 7

ひとこと要約

この論文では、GPTベースの大規模言語モデル（LLM）を活用して、キュレートされたアノテーション、ナラティブ要約、または直接取得されたデータソースから、生物学的に妥当な遺伝子オントロジー（GO）用語を生成することで、遺伝子セットの機能を要約するSPINDOCTORという手法を紹介している。LLMは一貫性があり関連性の高い要約を生成するが、統計的に信頼できるp値を出力できず、一貫して最も正確な強調解析用語を特定できないため、決定論的でなく、推論能力に制限があるため、標準の強調解析の代替手段として不適切である。

ABSTRACT

Molecular biologists frequently interpret gene lists derived from high-throughput experiments and computational analysis. This is typically done as a statistical enrichment analysis that measures the over- or under-representation of biological function terms associated with genes or their properties, based on curated assertions from a knowledge base (KB) such as the Gene Ontology (GO). Interpreting gene lists can also be framed as a textual summarization task, enabling the use of Large Language Models (LLMs), potentially utilizing scientific texts directly and avoiding reliance on a KB. We developed SPINDOCTOR (Structured Prompt Interpolation of Natural Language Descriptions of Controlled Terms for Ontology Reporting), a method that uses GPT models to perform gene set function summarization as a complement to standard enrichment analysis. This method can use different sources of gene functional information: (1) structured text derived from curated ontological KB annotations, (2) ontology-free narrative gene summaries, or (3) direct model retrieval. We demonstrate that these methods are able to generate plausible and biologically valid summary GO term lists for gene sets. However, GPT-based approaches are unable to deliver reliable scores or p-values and often return terms that are not statistically significant. Crucially, these methods were rarely able to recapitulate the most precise and informative term from standard enrichment, likely due to an inability to generalize and reason using an ontology. Results are highly nondeterministic, with minor variations in prompt resulting in radically different term lists. Our results show that at this point, LLM-based methods are unsuitable as a replacement for standard term enrichment analysis and that manual curation of ontological assertions remains necessary.

研究の動機と目的

• 大規模言語モデル（LLM）が遺伝子オントロジー（GO）のようなキュレート済みの知識ベースに依存せずに、遺伝子セットの機能を効果的に要約できるかを検討すること。
• LLMが遺伝子セットの生物学的に意味のある正確なGO用語リストを生成する性能を評価すること。
• 構造化されたアノテーション、ナラティブ要約、直接取得の3つのアプローチを用いたLLMベースの要約を、標準の強調解析と比較すること。
• LLMが生成する要約の信頼性、決定論的特性、統計的妥当性を、既存の手法と比較して評価すること。
• LLMがオントロジー構造を用いて一般化し、最も情報量の多い機能的用語を特定する能力を有しているかを検証すること。

提案手法

• SPINDOCTORは、GPTモデルが遺伝子セットの機能要約を生成するのを導くために構造化されたプロンプト設計を採用している。
• 本手法は3種類の入力タイプをサポートする：キュレート済みのGOアノテーション、オントロジーに依存しない遺伝子のナラティブ要約、LLMによる遺伝子機能記述の直接取得。
• プロンプトは制御された用語の自然言語記述を補間するように設計されており、モデルが関連するGO用語を推論できるようにしている。
• 本手法は少数の例を用いたプロンプト（few-shot prompting）とゼロショット推論を用いて、入力された遺伝子リストに基づき要約用語リストを生成する。
• モデルの出力は生物学的妥当性、正確性、複数回の実行における一貫性について評価される。
• 標準的な超幾何分布に基づく強調解析と比較して、用語の正確性と統計的信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMは、構造化された知識ベースに依存せずに、生物学的に妥当で一貫性のある遺伝子セットの機能要約を生成できるか？
• RQ2 LLMが生成する要約は、標準の強調解析と比較して、最も正確で情報量の多いGO用語を特定する点でどの程度優れているか？
• RQ3 LLMベースの手法は、信頼性のあるp値を伴う統計的に有意な用語をどの程度再現できるか？
• RQ4 LLMの出力は、わずかなプロンプトの変更に対してどの程度感受的であり、その結果、決定論的特性や一貫性にどのような影響を与えるか？
• RQ5 LLMはオントロジー構造を効果的に活用して一般化し、遺伝子セットの機能を推論できるか？

主な発見

• SPINDOCTORを用いたLLMベースの要約は、構造化されたアノテーション、ナラティブ要約、直接取得のすべての入力タイプにおいて、生物学的に妥当で一貫性のあるGO用語リストを生成する。
• 妥当な要約を生成する一方で、LLMは信頼できるp値や統計的有意性スコアを出力できず、厳密な生物学的解釈には不適切である。
• 標準の強調解析が特定する最も正確で情報量の多い用語を再現することができないことが多く、オントロジー推論能力に欠けることが示された。
• 結果は非常に非決定論的であり、わずかなプロンプトの変更が著しい異なる用語リストをもたらし、再現性を損なう。
• LLMがオントロジー階層を一般化したり推論したりする能力に欠けるため、従来の強調手法に取って代わることはできない。
• 遺伝子セットの機能的解釈を正確かつ信頼性高く行うためには、手動によるオントロジー的主張のキュレートが不可欠である。