[論文レビュー] SciDaSynth: Interactive Structured Data Extraction from Scientific Literature with Large Language Model

Xingbo Wang, Samantha L Huey+3 more|arXiv (Cornell University)|Apr 21, 2024

Topic Modeling被引用数 5

ひとこと要約

SciDaSynth は、検索を利用した大規模言語モデルを用いて科学論文からデータを抽出・構造化し、編集可能な表と視覚的要約を提供する対話型システムで、研究者による反復的な検証と精練を可能にする。

ABSTRACT

The explosion of scientific literature has made the efficient and accurate extraction of structured data a critical component for advancing scientific knowledge and supporting evidence-based decision-making. However, existing tools often struggle to extract and structure multimodal, varied, and inconsistent information across documents into standardized formats. We introduce SciDaSynth, a novel interactive system powered by large language models (LLMs) that automatically generates structured data tables according to users' queries by integrating information from diverse sources, including text, tables, and figures. Furthermore, SciDaSynth supports efficient table data validation and refinement, featuring multi-faceted visual summaries and semantic grouping capabilities to resolve cross-document data inconsistencies. A within-subjects study with nutrition and NLP researchers demonstrates SciDaSynth's effectiveness in producing high-quality structured data more efficiently than baseline methods. We discuss design implications for human-AI collaborative systems supporting data extraction tasks. The system code is available at https://github.com/xingbow/SciDaEx

研究の動機と目的

• 大量の科学文献からの知識の抽出と構造化を自動化する。
• 論文間のデータの変動や不整合を明らかにするために、柔軟な次元指向のグルーピングと可視化を可能にする。
• 生成データと元の文献との明示的なリンクを維持し、検証と訂正を支援する。
• データ表の一括編集と反復的な精練をサポートする、対話的で使いやすいインターフェースを提供する。
• 効果、効率、使いやすさを評価するため、同一参加者内デザインのユーザ研究を用いてシステムを評価する。

提案手法

• データ表の生成には GPT-4-turbo を、データ構造の生成と要約には GPT-3.5-turbo を活用する。
• 取得済み論文のスニペットとテーブルに出力を結びつける retrieval-augmented generation (RAG) フレームワークを採用する。
• PDF を表・テキスト・画像に解析し、それらを text-embedding-3-small を用いた類似検索のためのベクトルに変換する。
• ユーザーの質問からデータの次元を推定し、取得したスニペットと生成された次元を統合してデータ表と要約を作成する。
• 論文間の変動を明らかにするため、次元ベースの散布図とクラスタリングを用いた多層データ探索を提供する。
• 検証と訂正を目的として、バッチ編集とデータレコードを元のソースにリンクする機能を提供する。

実験結果

リサーチクエスチョン

• RQ1 SciDaSynth はベースラインと比較して、科学論文からの構造化データの抽出の品質と効率にどのような影響を与えるか？
• RQ2 次元指向の探索と可視化を通じて、ユーザーが論文間のデータの変動や不整合を効果的に発見できるか？
• RQ3 統合検証ワークフロー（データを出典にリンクし、欠落・関連情報を強調する）が、抽出データの信頼性と正確性を向上させるか？

主な発見

• 参加者は、人間のベースラインと同等の品質のデータを、より短い時間で作成できた。
• ユーザーは、抽出ワークフローの合理化、データの所在の容易さ、検証、精練といった利点を実感した。
• AI生成結果は検証と潜在的な不正確さの認識を必要とする。ユーザーは不確かさと出典根拠に基づく検証の必要性を指摘した。
• SciDaSynth は論文スクリーニング、データ監視、結果の解釈、共有を有望な利用ケースとしてサポートする。
• 本研究は、データ抽出タスクにおける人間とAI のインタラクション設計への示唆を提供する。