[論文レビュー] Exploring the effectiveness of ChatGPT-based feedback compared with teacher feedback and self-feedback: Evidence from Chinese to English translation

Siyi Cao, Linping Zhong|arXiv (Cornell University)|Sep 4, 2023

Topic Modeling被引用数 22

ひとこと要約

この研究は、中国語から英語への翻訳をMTIの学生が行い、ChatGPTを用いたフィードバックと教師によるフィードバックおよび自己フィードバックを比較し、BLEUではTFとSFがChatGPTより上回る一方、ChatGPTは語彙品質と参照的一貫性を高める；TFとSFは統語関連の側面で卓越している。

ABSTRACT

ChatGPT,a cutting-edge AI-powered Chatbot,can quickly generate responses on given commands. While it was reported that ChatGPT had the capacity to deliver useful feedback, it is still unclear about its effectiveness compared with conventional feedback approaches,such as teacher feedback (TF) and self-feedback (SF). To address this issue, this study compared the revised Chinese to English translation texts produced by Chinese Master of Translation and Interpretation (MTI) students,who learned English as a Second/Foreign Language (ESL/EFL), based on three feedback types (i.e., ChatGPT-based feedback, TF and SF). The data was analyzed using BLEU score to gauge the overall translation quality as well as Coh-Metrix to examine linguistic features across three dimensions: lexicon, syntax, and cohesion.The findings revealed that TF- and SF-guided translation texts surpassed those with ChatGPT-based feedback, as indicated by the BLEU score. In terms of linguistic features,ChatGPT-based feedback demonstrated superiority, particularly in enhancing lexical capability and referential cohesion in the translation texts. However, TF and SF proved more effective in developing syntax-related skills,as it addressed instances of incorrect usage of the passive voice. These diverse outcomes indicate ChatGPT's potential as a supplementary resource, complementing traditional teacher-led methods in translation practice.

研究の動機と目的

• 翻訳実践におけるAI生成フィードバックの相対的有効性を調査する動機づけ。
• ESL/EFL翻訳品質において、ChatGPTベースのフィードバックを教師フィードバックおよび自己フィードバックと比較評価する。
• 各フィードバックタイプにおける改訂後の翻訳の言語特徴を分析する。
• 翻訳トレーニングにおいて、ChatGPTが従来のフィードバック方法を補完できるかを評価する。

提案手法

• 三つのフィードバック条件（ChatGPTベース、教師フィードバック、自己フィードバック）を用いて、中国語MTI学生が作成した中国語→英語翻訳を改訂する。
• BLEUスコアをグローバル指標として翻訳品質を測定する。
• 語彙・統語・連携の言語特徴をCoh-Metrixを用いて分析する。
• 語彙能力、参照的一貫性、統語（例：受動態の使用）を改善する際のフィードバックタイプの効果を比較する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTベースのフィードバックは、中国語→英語翻訳において教師フィードバックおよび自己フィードバックと比べて、BLEUスコアが同等かそれ以上になるのか？
• RQ2 フィードバックタイプは翻訳の語彙・統語・結束機能にどのように影響を与えるのか？
• RQ3 翻訳文における正しい統語使用、例えば受動構文といった点を最もよく支援するフィードバックタイプはどれか？
• RQ4 ChatGPTベースのフィードバックは翻訳トレーニングにおける従来のフィードバック方法を補完する資源となり得るか？

主な発見

• TF-およびSF主導の翻訳は、BLEUスコアでChatGPT主導の翻訳を上回る。
• ChatGPTベースのフィードバックは翻訳の語彙能力を向上させる。
• ChatGPTベースのフィードバックは参照的一貫性を高める。
• 教師フィードバックと自己フィードバックは、受動態の使用を含む統語関連スキルの育成により効果的である。