[論文レビュー] Zero-shot Temporal Relation Extraction with ChatGPT

Chenhan Yuan, Qianqian Xie+1 more|arXiv (Cornell University)|Apr 11, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿は、三つのプロンプト戦略（ゼロショット、イベントランクイング、チェーン・オブ・トゥキャスト（CoT）プロンプト）を用いて、ChatGPTのゼロショット能力による時系列関係抽出を評価している。教師ありモデルと比較して顕著な性能差があるものの、CoTプロンプトは結果を著しく改善するが、一貫性と長距離依存関係の推論において深刻な欠陥を示している。

ABSTRACT

The goal of temporal relation extraction is to infer the temporal relation between two events in the document. Supervised models are dominant in this task. In this work, we investigate ChatGPT's ability on zero-shot temporal relation extraction. We designed three different prompt techniques to break down the task and evaluate ChatGPT. Our experiments show that ChatGPT's performance has a large gap with that of supervised methods and can heavily rely on the design of prompts. We further demonstrate that ChatGPT can infer more small relation classes correctly than supervised methods. The current shortcomings of ChatGPT on temporal relation extraction are also discussed in this paper. We found that ChatGPT cannot keep consistency during temporal inference and it fails in actively long-dependency temporal inference.

研究の動機と目的

• 大規模言語モデル（ChatGPTなど）が微調整なしにゼロショット時系列関係抽出を実行できるかどうかを調査すること。
• ゼロショット、イベントランクイング、チェーン・オブ・トゥキャスト（CoT）の各プロンプト工学技術の効果を、ChatGPTの性能に対する影響として評価すること。
• 特に一貫性と長距離依存関係推論に関して、ChatGPTの時系列推論における制限を同定すること。
• 低リソース（小規模）な時系列関係クラスにおけるChatGPTの性能を教師ありモデルと比較すること。
• ゼロショット時系列関係抽出において、LLMが教師あり手法の代替手段として実用的であるかどうかを評価すること。

提案手法

• 事前に定義されたリストから二つのイベント間の時系列関係を分類するよう直接要請するゼロショットプロンプトを設計した。
• イベントランクイングプロンプトを実装し、特定のイベントトリガーの前後で発生したイベントを列挙するようChatGPTに依頼した。
• タスクを二値分類ステップに分解するチェーン・オブ・トゥキャスト（CoT）プロンプト戦略を提案した。まず、特定の関係（例：BEFORE）が成立するかを確認し、次に選択を精緻化する。
• CoTアプローチを用いて段階的推論を誘導し、中間の推論状態を活用することで、信頼性と正確性を向上させた。
• 標準的な時系列関係抽出データセットを用い、F1や精度／再現率といった標準指標で、すべてのプロンプトを評価した。
• プロンプトタイプ間の性能を比較するためのアブレーションスタディを実施し、一貫性と長距離依存関係の問題に関する失敗事例を分析した。

Figure 1: The proposed prompts.

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは微調整なしに、ゼロショット時系列関係抽出を効果的に行えるか？
• RQ2 プロンプト工学、特にゼロショット、イベントランクイング、チェーン・オブ・トゥキャスト（CoT）プロンプトが、ChatGPTの時系列関係抽出性能にどのように影響を与えるか？
• RQ3 全体的な性能が低いにもかかわらず、ChatGPTは低リソース（レア）な時系列関係クラスで教師ありモデルを上回る性能を示すか？
• RQ4 同じ入力を複数回与え、異なる表現で質問をした場合、ChatGPTは時系列推論においてどの程度一貫性を保っているか？
• RQ5 ChatGPTは長距離依存関係時系列関係や曖昧な時系列キーサインを処理する際に、どのような主な制限を示すか？

主な発見

• ChatGPTは教師ありモデルと比較して顕著に性能が低く、Bi-LSTMのような従来のニューラルネットワークと同等またはそれ以下の性能差を示した。
• チェーン・オブ・トゥキャスト（CoT）プロンプト戦略は、すべてのデータセットでゼロショットおよびイベントランクイングプロンプトを一貫して上回り、プロンプトにおける構造的推論の重要性を示した。
• ChatGPTは低頻度の時系列関係クラス（例：'VAGUE'、'EQUAL'）において、教師ありモデルよりも優れた性能を示した。これは、レアな関係に対するゼロショット一般化の潜在的利点を示唆している。
• ChatGPTは深刻な一貫性欠陥を示した。同じドキュメントに対して、論理的に同等の質問を異なる表現で提示した場合、異なる時系列関係を出力する場合があり、不確実性を表明した後でも84％のケースで矛盾する回答を示した。
• ChatGPTは長距離依存関係時系列関係を効果的に処理できず、長いスパンにわたる時系列コンテキストを維持する能力に制限があることが示された。
• CoTプロンプトにおいて、ChatGPTは不確実性がある場合に「vague」と返すことが頻繁に失敗し、代わりに「Cannot determine」や「Unknown」といったフレーズを出力する。これらは評価時には「vague」として扱われるが、依然として段階的推論における最終分類に一貫性の欠如を引き起こした。

Figure 2: Prompts generated by ChatGPT.