[論文レビュー] Retrieval Augmented Generation and Representative Vector Summarization for large unstructured textual data in Medical Education

Supun Manathunga, Y. A. Illangasekara|arXiv (Cornell University)|Aug 1, 2023

Topic Modeling被引用数 14

ひとこと要約

本論文は、大規模な非構造化医療テキストを扱うための Retrieval Augmented Generation (RAG) アプローチと Representative Vector Summarization (RVS) を提案し、LangChainとFAISS上に構築された(docGPT) を用いて、トークン制限内で内容を検索・要約する。

ABSTRACT

Large Language Models are increasingly being used for various tasks including content generation and as chatbots. Despite their impressive performances in general tasks, LLMs need to be aligned when applying for domain specific tasks to mitigate the problems of hallucination and producing harmful answers. Retrieval Augmented Generation (RAG) allows to easily attach and manipulate a non-parametric knowledgebases to LLMs. Applications of RAG in the field of medical education are discussed in this paper. A combined extractive and abstractive summarization method for large unstructured textual data using representative vectors is proposed.

研究の動機と目的

• 医療教育におけるLLMの幻覚とドメインミスアラインメントを緩和するためにRAGの活用を動機づける。
• 大規模文書を扱うための抽出型と要約型を組み合わせたワークフローを導入する。
• 代表的なテキストチャンクを選択する方法を開発し、内容分布を可視化する。
• docGPTにワークフローを実装し、ソフトウェアのオープンソース公開を提供する。

提案手法

• PDF、テキスト文書、スプレッドシート、スライド、画像/スキャンのOCRを含む非構造化ソースからテキストを抽出する。
• テキスト埋め込みモデル text-embedding-ada-002 を用いてチャンクを1536次元のベクトル空間に埋め込み、FAISSに保存する。
• クエリに最も類似したk個のチャンクを取得し、クエリと結合してLLMのプロンプトを作成する。
• 最大許容トークン制限 T を計算し、k個のチャンクのサイズ s を掛け合わせた値が T 以下となるように選択する。
• k-means でベクトルを量子化し k 個のクラスターを形成し、各セントロイドに最も近いチャンクを代表として選ぶ。
• 各代表チャンクについて抽出型要約を実行してキーワードを生成（各チャンク3つ）し、クラスターのメンバー間でマッピングする；語彙クラウドと2D t-SNE可視化を作成して分布の洞察を得る。
• マッピングされた表現から最終的な抽象的要約を作成し、要点を生成する。

Figure 1: Retrieval workflow of docGPT

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな知識ベースを用いたRAGは、臨床医学および薬理学のクエリに対して、基礎となるLLMよりも精度を向上させるのか？
• RQ2 Representative Vector Summarization (RVS) は、トークン制約内で大規模な医療文書を効果的に要約できるか？
• RQ3 キーワード生成、語彙クラウド、および t-SNE の可視化は、文書の内容分布の理解をどのように支援するか？
• RQ4 医療教育向けの docGPT システムにおける RAG と RVS の実用的な実装とは何か？
• RQ5 医療リファレンス課題において、ChatGPT のような標準モデルと比較して結果はどうか？

主な発見

• 臨床医学および薬理学ソースからのクエリに対して、RAGを用いたdocGPTはベースのChatGPTよりもより的確で正確な回答を生成した。
• RVS はトークン制約下で代表的なチャンクの選択を可能にし、語彙クラウドやt-SNEなどの視覚的分布を生成して内容の網羅性を示した。
• Kumar and Clark Clinical Medicine (10th Edition) では 15,000 token 制限の下で 19 個の代表チャンクを使用; BNF 82 では 5,000 token 制限の下で 10 個の代表チャンクを使用した。
• このアプローチは、抽出、要約、可視化を統合して、知識集約的な医療教育タスクを支援する。
• 実装は docGPT (Python, LangChain) で提供されており、ソースは提供されたGitHubリポジトリにある。

Figure 2: Word cloud for Kumar and Clark Clinical Medicine