[論文レビュー] On the Potential of Artificial Intelligence Chatbots for Data Exploration of Federated Bioinformatics Knowledge Graphs

Ana-Claudia Sima, Tarcisio Mendes de Farias|arXiv (Cornell University)|Apr 20, 2023

FinTech, Crowdfunding, Digital Finance被引用数 4

ひとこと要約

本稿では、ChatGPT などの大規模言語モデルチャットボットを用いて、フェデレーテッドバイオインフォマティクス知識グラフにおける自然言語ベースのデータ探索を促進する方法を検討する。このようなモデルがデータセットの要約、SPARQL クエリの説明、自然言語からのフェデレーテッドクエリ生成を可能にするが、幻覚現象や一貫性のない推論といった顕著な制限を伴うことが示された。

ABSTRACT

In this paper, we present work in progress on the role of artificial intelligence (AI) chatbots, such as ChatGPT, in facilitating data access to federated knowledge graphs. In particular, we provide examples from the field of bioinformatics, to illustrate the potential use of Conversational AI to describe datasets, as well as generate and explain (federated) queries across datasets for the benefit of domain experts.

研究の動機と目的

• 会話型AIモデルが自然言語による質問をSPARQLクエリに変換することで、フェデレーテッドバイオインフォマティクス知識グラフへのアクセスを向上させられるかどうかを調査すること。
• AIチャットボットがドメインエキスパートのためのデータの検索可能性と再利用可能性を高めるために、データセットの内容を要約する役割を評価すること。
• チャットボットが複数の公開バイオインフォマティクスデータベースにまたがるフェデレーテッドSPARQLクエリを正しく説明し、生成できる能力を評価すること。
• 現在のLLMベースのアプローチにおける主な制限、特に幻覚現象と再現性の欠如を、科学的データ探索の文脈で特定すること。

提案手法

• 自然言語入力から記述、説明、SPARQLクエリを生成するために、GPT-4ベースのChatGPT（2023年3月版の無料研究版）を用いた。
• UniProt、OMA、Bgee の3つの公開バイオインフォマティクス知識グラフに焦点を当てた。これらはすべてSPARQLエンドポイントをサポートしており、SIBのフェデレーテッドデータエコシステムの一部である。
• 公式ドキュメンテーションとNCBI や EBI などの権威あるソースからの既知の正解と照合することで、チャットボットの出力を評価した。
• 実際のエンドポイント上で実行可能なフェデレーテッドSPARQLクエリの正しさとパフォーマンスをテストすることで、クエリ生成の正確性を評価した。
• 入力の表現方法や文脈が出力の一貫性に与える影響を調査し、繰り返しクエリを実行した際の非決定的応答（非一貫性）を含めた。
• 事実的主張の出典を追跡するための「どうして？」という質問を投げることで、モデルの説明の信頼性を検証した。

実験結果

リサーチクエスチョン

• RQ1 AIチャットボットは、自然言語によるアクセスを可能にすることで、公開バイオインフォマティクス知識グラフの内容を要約し、データの検索可能性を向上させることができるか？
• RQ2 チャットボットは、フェデレーテッドクエリの文脈において、既存のSPARQLクエリをどれほど正確に説明できるか？
• RQ3 チャットボットは、複数のバイオインフォマティクス知識グラフにまたがる自然言語の質問から、正しいかつ効率的なフェデレーテッドSPARQLクエリを生成できるか？
• RQ4 幻覚現象や一貫性のない推論は、科学的データ探索におけるチャットボット生成回答の信頼性にどのように影響するか？
• RQ5 LLMベースのチャットボットを科学的データアクセスに使用する際の実用的制限、特に再現性とクエリパフォーマンスの観点での課題は何か？

主な発見

• ChatGPTは、UniProt、OMA、Bgee データベースの高レベルな理解しやすい要約を成功裏に生成し、自然言語によるアクセスによってデータの検索可能性が向上した。
• モデルは、複雑なフェデレーテッドクエリ構造を理解するのを支援する、説得力のある既存のSPARQLクエリの説明を提供した。
• ChatGPTは自然言語の質問から構文的に正しいフェデレーテッドSPARQLクエリを生成した。これは、手動でのクエリ作成を回避して直接データにアクセスする可能性を示している。
• 構文的に正しいにもかかわらず、一部の生成クエリは意味的に誤りまたは非効率的であり、悪いクエリ計画のためのサーバータイムアウトを引き起こす可能性があった。
• モデルは幻覚現象を示し、例として、NCBI が正しい出典であると述べながらも、*Colocasia esculenta* の系統的IDを誤って4472と主張した。
• 回答の説明は最終出力としばしば一貫性がなく、繰り返しクエリを実行した場合に異なる結果が得られることがあり、非決定性とデバッグの透明性の欠如が浮き彫りになった。