[論文レビュー] Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts

Zihao Li, Samuel Belkadi+4 more|arXiv (Cornell University)|Sep 22, 2023

Text Readability and SimplificationComputer Science被引用数 3

ひとこと要約

本研究は、公衆衛生のリテラシーを向上させるために、生物学的医学的要約の簡素化を改善するための大規模言語モデル（LLMs）と制御メカニズムを調査する。PLABAデータセットを用い、ドメイン特化微調整とプロンプトベース学習を適用し、BART-Largeなどのモデルに制御トークンを導入することで、SARIスコア46.54を達成し、意味の保持をバランスさせつつ、簡素化の質において他のモデルを上回った。

ABSTRACT

Biomedical literature often uses complex language and inaccessible professional terminologies. That is why simplification plays an important role in improving public health literacy. Applying Natural Language Processing (NLP) models to automate such tasks allows for quick and direct accessibility for lay readers. In this work, we investigate the ability of state-of-the-art large language models (LLMs) on the task of biomedical abstract simplification, using the publicly available dataset for plain language adaptation of biomedical abstracts ( extbf{PLABA}). The methods applied include domain fine-tuning and prompt-based learning (PBL) on: 1) Encoder-decoder models (T5, SciFive, and BART), 2) Decoder-only GPT models (GPT-3.5 and GPT-4) from OpenAI and BioGPT, and 3) Control-token mechanisms on BART-based models. We used a range of automatic evaluation metrics, including BLEU, ROUGE, SARI, and BERTscore, and also conducted human evaluations. BART-Large with Control Token (BART-L-w-CT) mechanisms reported the highest SARI score of 46.54 and T5-base reported the highest BERTscore 72.62. In human evaluation, BART-L-w-CTs achieved a better simplicity score over T5-Base (2.9 vs. 2.2), while T5-Base achieved a better meaning preservation score over BART-L-w-CTs (3.1 vs. 2.6). We also categorised the system outputs with examples, hoping this will shed some light for future research on this task. Our code, fine-tuned models, and data splits are available at \url{https://github.com/HECTA-UoM/PLABA-MU} \begin{IEEEkeywords} Large Language Models, Text Simplification, Biomedical NLP, Control Mechanisms, Health Informatics \end{IEEEkeywords}

研究の動機と目的

• 自然言語処理技術を用いて、複雑な生物学的医学的要約を簡素化することで、公衆衛生のリテラシーを向上させること。
• 自動評価指標および人的評価指標を用いて、最先端のLLMsが生物学的医学的テキストの簡素化においてどの程度効果的であるかを評価すること。
• 制御メカニズムおよびプロンプトベース学習が、簡素化の質と意味の保持に与える影響を調査すること。
• 微調整済みモデルとコードを含むPLABAデータセットを用いて、今後の研究のベンチマークを提供すること。
• LLMが生成する平易な言語要約における、簡素化の深さと意味的整合性の間のトレードオフを明らかにすること。

提案手法

• PLABAデータセット上で、エンコーダデコーダ型モデル（T5、SciFive、BART）およびデコーダオンリーモデル（GPT-3.5、GPT-4、BioGPT）を微調整する。
• GPTベースのモデルから簡素化出力を生成するために、プロンプトベース学習（PBL）を適用し、ゼロショットおよびワンショットプロンプティングを実施する。
• BARTベースのモデルに制御トークンを導入し、意味的内容を保持しながら簡素化をガイドするメカニズムを実装する。
• BARTモデルの効率的微調整を実現するため、LoRAを用いて制御トークンを統合し、計算コストを低減する。
• 2つの参照文を用いたテストセット上で、自動評価指標（BLEU、ROUGE、SARI、BERTScore）を用いて出力を評価する。
• 814組の文ペアに対して、簡素さと意味保持性のスコアを人的評価により行い、定性的な性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 PLABAデータセットの生物学的医学的要約の簡素化において、異なるLLMアーキテクチャはどの程度の性能を示すか？
• RQ2 制御トークンメカニズムは、BARTベースのモデルにおける簡素化の質と意味保持性をどの程度向上させるか？
• RQ3 自動評価指標は、生物学的医学的テキスト簡素化において人的判断とどの程度相関するか？
• RQ4 LLMが生成する平易な言語要約における、簡素化の深さと意味的整合性の間にはどのようなトレードオフが存在するか？
• RQ5 GPTモデルにおけるワンショットプロンプティングは、微調整済みモデルと比較して競争力のある性能を達成できるか？

主な発見

• 制御トークンを備えたBART-Large（BART-L-w-CT）は、SARIスコア46.54を達成し、簡素化における生成品質が優れていた。
• T5-Baseは、BERTScore 72.62を記録し、他のモデルと比較して意味の保持性が優れていた。
• 人的評価では、BART-L-w-CTは簡素さスコア2.9（T5-Baseは2.2）を記録し、より優れた簡素化を示した一方、T5-Baseは意味保持性スコア3.1（BART-L-w-CTは2.6）を記録した。
• 自動評価指標では順位が一貫せず、BARTはSARIで優れた性能を示したが、BERTScoreでは劣っていた。これは、簡素化と整合性の間のトレードオフを示している。
• GPT-3.5およびGPT-4はワンショットプロンプティングを用いて競争力ある性能を示し、このタスクにおける強いゼロショット一般化能力を示した。
• 本研究では、微調整済みモデル、コード、データ分割を https://github.com/HECTA-UoM/PLABA-MU で公開し、再現性および今後のベンチマークに貢献している。