[論文レビュー] ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal, Causal, and Discourse Relations

Chunkit Chan, Jay J. Cheng+5 more|arXiv (Cornell University)|Apr 28, 2023

Topic Modeling被引用数 30

ひとこと要約

この論文はChatGPTを用いて文間関係（時相、因果、談話）を11データセットで定量的に評価し、3つのプロンプト設定（Prompt、Prompt Engineering、In-Context Learning）を用いてベースライン性能を確立します。

ABSTRACT

This paper aims to quantitatively evaluate the performance of ChatGPT, an interactive large language model, on inter-sentential relations such as temporal relations, causal relations, and discourse relations. Given ChatGPT's promising performance across various tasks, we proceed to carry out thorough evaluations on the whole test sets of 11 datasets, including temporal and causal relations, PDTB2.0-based, and dialogue-based discourse relations. To ensure the reliability of our findings, we employ three tailored prompt templates for each task, including the zero-shot prompt template, zero-shot prompt engineering (PE) template, and in-context learning (ICL) prompt template, to establish the initial baseline scores for all popular sentence-pair relation classification tasks for the first time. Through our study, we discover that ChatGPT exhibits exceptional proficiency in detecting and reasoning about causal relations, albeit it may not possess the same level of expertise in identifying the temporal order between two events. While it is capable of identifying the majority of discourse relations with existing explicit discourse connectives, the implicit discourse relation remains a formidable challenge. Concurrently, ChatGPT demonstrates subpar performance in the dialogue discourse parsing task that requires structural understanding in a dialogue before being aware of the discourse relation.

研究の動機と目的

• ChatGPTの、様々なデータセットにおける文間関係（時相、因果、談話）を理解する能力を評価する。
• 三つのプロンプトパラダイム（ゼロショットプロンプト、ゼロショットプロンプトエンジニアリング、インコンテキスト学習）下での性能を定量化する。
• ChatGPTの異なる関係タイプおよび内部関係における強みと限界を特定する。
• 関係テキスト理解のためのLLMの今後の研究を導くベースラインと洞察を提供する。

提案手法

• 関係分類を複数選択タスクとしてフレーミングする3つの適切なプロンプトテンプレート（Prompt、Prompt Engineering、In-Context Learning）を使用する。
• 時相・因果・談話関係を含む11データセットのテスト全体でChatGPTを評価する。
• 関係別の性能と内部関係（例：TemporalのBefore/After、明示的かつ暗示的な談話）を分析する。
• ベースライン（ランダム、BERT-base、ファインチューニング済みSOTA RoBERTa）と比較し、適用可能な場合は正答率とマクロF1を報告する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは標準データセットで2つのイベント間の時相関係をどれだけ正しく識別できるか？
• RQ2 ChatGPTは因果関係を識別・推論する能力をベースラインと比較してどれだけ高いか？
• RQ3 ChatGPTは明示的および暗示的な談話関係（対話談話の解析を含む）をどれだけ効果的に認識できるか？
• RQ4 Prompt、PE、ICLといった異なるプロンプティング戦略は、これらの関係タスクにおけるChatGPTの性能にどのような影響を与えるか？
• RQ5 BEFORE/AFTER、明示的対暗黙的結合詞などの内部関係パターンは、ChatGPTの成功にどのように影響するか？

主な発見

• ChatGPTは時相関係データセット（TB-Dense、MATRES、TDDMan）でファインチューニング済モデルに遅れをとる。
• エンジニアリングされたプロンプトは、標準プロンプトよりも時相性能を一般的に向上させ、TB-Dense、MATRES、TDDManで顕著な利益をもたらす。
• ChatGPTはCOPAで強い因果推論を示し、e-CAREとHeadineCauseでも競争力のある性能を示す。COPA/e-CAREではエンジニアリングされたプロンプトが効果を助ける。
• 明示的な接続詞がある場合は明示的な談話関係を認識しやすく、ラベル依存を活用できるが、暗黙的な談話は依然として難しい。
• 多者対話談話解析では、監視付きベースラインと比較してChatGPTのパフォーマンスは劣り、インコンテキスト学習とプロンプトによる利得は限定的である。