[論文レビュー] Can large language models build causal graphs?

Stephanie Long, Tibor Schuster+1 more|arXiv (Cornell University)|Mar 7, 2023

Topic Modeling被引用数 9

ひとこと要約

GPT-3 は、医療 DAG におけるエッジの有無を示すのに役立つ可能性があるが、プロンプト、動詞、具体性によって精度が影響を受ける；専門家による検証は依然として重要。

ABSTRACT

Building causal graphs can be a laborious process. To ensure all relevant causal pathways have been captured, researchers often have to discuss with clinicians and experts while also reviewing extensive relevant medical literature. By encoding common and medical knowledge, large language models (LLMs) represent an opportunity to ease this process by automatically scoring edges (i.e., connections between two variables) in potential graphs. LLMs however have been shown to be brittle to the choice of probing words, context, and prompts that the user employs. In this work, we evaluate if LLMs can be a useful tool in complementing causal graph development.

研究の動機と目的

• テキストデータから医療DAGにおけるエッジの存在有無をGPT-3が示せるかを評価する。
• プロンプト設計がエッジ分類の正確さにどのように影響するかを評価する。
• 連結動詞と言語の具体性が精度に与える影響を検討する。
• GPT-3がより信頼できる、または信頼性に欠ける制限と状況を特定する。
• 専門家のDAG作成と統合するためのLLMの活用方向を提案する。

提案手法

• 異なる複雑さを持つ4つの真の医療DAGを構築する。
• 変数の有序対ごとに、エッジありとエッジなしの2つの文を用いてGPT-3を照会し、精度を比較する。
• 医療当局（例：医師、研究）に根ざしたプロンプトを用いてプロンプト効果を評価する。
• 関係を表す異なる連結動詞（例：「 causes」、「 increases risk 」）を試して正確性への影響を評価する。
• 変数の記述の具体性を変えて、より詳細な言語が性能を改善するかを確認する。

実験結果

リサーチクエスチョン

• RQ1 テキストデータに基づいて、DAGの二つの医療変数間にエッジが存在することをGPT-3が信頼性高く示せるか。
• RQ2 医療当局を参照するプロンプトはGPT-3のエッジ分類精度を向上させるか。
• RQ3 連結動詞や表現の仕方はGPT-3のエッジ検出の精度に影響するか。
• RQ4 変数説明の具体性が高まると、因果エッジの特定能力は向上するか。

主な発見

DAG名	プロンプト	精度
Alcohol	Baseline	0.33
Alcohol	Big Pharma	0.50
Alcohol	Medical doctors	0.83
Alcohol	Medical studies	0.67
Cancer	Baseline	0.75
Cancer	Big Pharma	0.58
Cancer	Medical doctors	1.00
Cancer	Medical studies	1.00
Diabetes	Baseline	0.67
Diabetes	Big Pharma	0.50
Diabetes	Medical doctors	0.33
Diabetes	Medical studies	0.42
Obesity	Baseline	0.75
Obesity	Big Pharma	0.58
Obesity	Medical doctors	0.75
Obesity	Medical studies	0.75

• GPT-3は少なくとも1つの実験設定で、すべてのDAGにおいてランダムよりもはるかに高い精度を達成した。
• プロンプト設計は混合的な効果を示した。 medical-doctorプロンプトは一部のDAGで精度を高めたが、他ではそうでなく、Big Pharmaプロンプトはしばしば精度を低下させた。
• 連結動詞は精度に影響を与え、'increases risk'と'cause'はDAGごとに異なる成績を示した。
• より具体性が必ずしも精度を向上させるとは限らず、DAGと動詞の組み合わせによっては低下することもあった。
• 全体として、DAGと設定によってGPT-3の性能は異なったが改善が見られ、専門家のDAG開発を補完する有用性が示唆された。
• 本研究は、LLMを用いてDAGを構築する際には専門家による検証が依然として不可欠であることを強調している。