[論文レビュー] Chinese Intermediate English Learners outdid ChatGPT in deep cohesion: Evidence from English narrative writing

Tongquan Zhou, Siyi Cao+3 more|arXiv (Cornell University)|Mar 21, 2023

Topic Modeling被引用数 8

ひとこと要約

本研究は Coh-Metrix を用いてチャットGPTと中国の中級英語学習者の語りの作文を比較する。チャットGPTは語り性、語の具体性、参照的コヒージョンで優れるが、統語的単純さと深いコヒージョンには遅れをとり、更新後のプロンプトでは深いコヒージョンが学習者よりも有利になる場合がある。

ABSTRACT

ChatGPT is a publicly available chatbot that can quickly generate texts on given topics, but it is unknown whether the chatbot is really superior to human writers in all aspects of writing and whether its writing quality can be prominently improved on the basis of updating commands. Consequently, this study compared the writing performance on a narrative topic by ChatGPT and Chinese intermediate English (CIE) learners so as to reveal the chatbot's advantage and disadvantage in writing. The data were analyzed in terms of five discourse components using Coh-Metrix (a special instrument for analyzing language discourses), and the results revealed that ChatGPT performed better than human writers in narrativity, word concreteness, and referential cohesion, but worse in syntactic simplicity and deep cohesion in its initial version. After more revision commands were updated, while the resulting version was facilitated in syntactic simplicity, yet it is still lagged far behind CIE learners' writing in deep cohesion. In addition, the correlation analysis of the discourse components suggests that narrativity was correlated with referential cohesion in both ChatGPT and human writers, but the correlations varied within each group.

研究の動機と目的

• ChatGPT と中国の中級英語学習者（CIE） learners が英語の語りの作文をディスコースの次元ごとにどう評価されるかを測定する。
• 初期出力と改訂出力を評価し、プロンプトが統語的単純さとコヒージョンに与える影響を検証する。
• AI と人間の執筆者の両方において、全体的な語り性とコヒージョンの相関がどのディスコース要素と関連するかを特定する。

提案手法

• ChatGPT と CIE 学習者によって生成された語りテキストを Coh-Metrix で5つのディスコース要素を分析する。
• 初期の ChatGPT 出力と更新指令で作成された改訂版を比較する。
• 両グループのディスコース要素と語り性との相関を算出する。
• 各グループで有利・不足を示す要素を報告する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT は英語の語り作文を作成する際に、語り性、語の具体性、参照的コヒージョン、統語的単純さ、深いコヒージョンで CIE 学習者と異なるか。
• RQ2 改訂指令は ChatGPT の統語的単純さと深いコヒージョンを CIE 学習者と比較してどう変えるか。
• RQ3 ChatGPT と人間の著者グループ内で語り性と参照的コヒージョンの相関はどうで、グループ間でこの相関はどう変化するか。

主な発見

• ChatGPT は初期バージョンで語り性、語の具体性、参照的コヒージョンで人間を上回る。
• 初期バージョンにおいては、ChatGPT は統語的単純さと深いコヒージョンで CIE 学習者に及ばない。
• 改訂指令後、ChatGPT は統語的に単純になるが、深いコヒージョンでは依然として CIE 学習者を下回る。
• 相関分析は、語り性が ChatGPT と人間の著者双方で参照的コヒージョンと関連することを示し、これらの関係はグループごとに変化する。