[論文レビュー] Long-form analogies generated by chatGPT lack human-like psycholinguistic properties

S. M. Seals, Valerie L. Shalin|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、Coh-Metrixの心理言語的特徴を用いて、生物学化学の授業におけるチャットGPTと人間の学生が生成した長文アナロジーを評価した。結果、流暢さにかかわらず、言語的構造、結束性、認知処理のマーカーにおいて、チャットGPTの出力は人間の生成物と顕著に異なることが判明した。これは、人間らしさのある推論や言語使用を模倣する能力の限界を示している。

ABSTRACT

Psycholinguistic analyses provide a means of evaluating large language model (LLM) output and making systematic comparisons to human-generated text. These methods can be used to characterize the psycholinguistic properties of LLM output and illustrate areas where LLMs fall short in comparison to human-generated text. In this work, we apply psycholinguistic methods to evaluate individual sentences from long-form analogies about biochemical concepts. We compare analogies generated by human subjects enrolled in introductory biochemistry courses to analogies generated by chatGPT. We perform a supervised classification analysis using 78 features extracted from Coh-metrix that analyze text cohesion, language, and readability (Graesser et. al., 2004). Results illustrate high performance for classifying student-generated and chatGPT-generated analogies. To evaluate which features contribute most to model performance, we use a hierarchical clustering approach. Results from this analysis illustrate several linguistic differences between the two sources.

研究の動機と目的

• チャットGPTが科学的推論の文脈で生成する長文アナロジーが、人間らしさのある心理言語的特性を示すかどうかを評価すること。
• 大規模言語モデル（LLM）が生成するアナロジーと人間の学習者が生成するアナロジーを区別するための、具体的な言語的および認知的特徴を同定すること。
• 心理言語的指標が、複雑な推論タスクにおける人間とAIが生成するテキストの微細な差を検出する有効性を評価すること。
• これらの差異が教育的評価や学術的場面におけるLLMの使用に与える含みを検討すること。

提案手法

• 生物学化学の初級コースにおける人間の学生と、同じプロンプトに応じてチャットGPTが生成した長文アナロジーを収集した。
• Coh-Metrixから78の心理言語的特徴（結束性、構文的複雑さ、語の頻度、品詞、接続語、参照的手段など）を抽出した。
• 抽出された特徴を用いて、チャットGPT生成と人間生成のアナロジーを識別するための教師あり分類モデルを適用した。
• 分類性能に最も寄与する特徴群を特定するために階層的クラスタリングを実施した。
• グループ間の特徴分布の差の有意性を検証するため、推論統計（t検定、レヴェンの検定）を実施した。
• 分散性のテストに使用するバランスの取れたデータセット（1099自由度）を用い、頻度率と分布的性質に注目した。

実験結果

リサーチクエスチョン

• RQ1 チャットGPTが生成する長文アナロジーは、人間の学生が生成するものと心理言語的特徴において顕著に異なるか？
• RQ2 どの具体的な言語的および結束関連特徴が、チャットGPT生成アナロジーと人間生成アナロジーを最も強く区別するか？
• RQ3 語の選択、構文的構造、結束性の差が、人間とLLMの間の認知処理の違いをどの程度反映しているか？
• RQ4 人間とAIが生成するアナロジーにおいて、特徴使用の分散パターン（例：代名詞、接続語、動詞）はどのように異なるか？
• RQ5 心理言語的特徴は、文法的流暢さに依存しない微細な差を検出できるか？

主な発見

• Coh-Metrixの78の心理言語的特徴を用いた教師あり分類器は、チャットGPT生成と人間生成のアナロジーを高精度で区別できた。
• チャットGPT生成アナロジーは、人間生成アナロジーと比較して、明示的な接続語、代名詞、結束的手段の使用が顕著に少なかった。
• 人間の参加者は、意図的動詞や動詞の結束性において、より高い分散性を示しており、より多様な認知処理を示唆した。
• チャットGPTの出力は、構文的単純さが高く、受動態の使用率も高かったため、より形式的な書き方であった。
• 物語的構造や接続性の面で差が認められ、チャットGPTは会話最適化のための出力であったにもかかわらず、物語的でない出力となった。
• 深層的結束性、参照的結束性、時間的要因に関連する特徴は、チャットGPTの出力で顕著に低く、読者への支援メカニズムが弱いことを示した。