[论文解读] Generative AI, Pragmatics, and Authenticity in Second Language Learning

Robert Godwin‐Jones|arXiv (Cornell University)|Oct 18, 2024

Language, Metaphor, and Cognition被引用 4

一句话总结

本文探讨了生成式人工智能在第二语言学习中的局限性，特别是其由于统计建模和有偏见的训练数据，无法生成语用得体且文化真实的语言。文章认为，尽管人工智能在辅导和教学材料制作方面具有优势，但其缺乏真实的社会经验与文化意识，削弱了其在培养跨文化交际能力方面的有效性。

ABSTRACT

There are obvious benefits to integrating generative AI (artificial intelligence) into language learning and teaching. Those include using AI as a language tutor, creating learning materials, or assessing learner output. However, due to how AI systems under-stand human language, based on a mathematical model using statistical probability, they lack the lived experience to be able to use language with the same social aware-ness as humans. Additionally, there are built-in linguistic and cultural biases based on their training data which is mostly in English and predominantly from Western sources. Those facts limit AI suitability for some language learning interactions. Stud-ies have clearly shown that systems such as ChatGPT often do not produce language that is pragmatically appropriate. The lack of linguistic and cultural authenticity has important implications for how AI is integrated into second language acquisition as well as in instruction targeting development of intercultural communication compe-tence.

研究动机与目标

• 调查生成式人工智能系统在第二语言学习情境中语用语言使用的表现。
• 分析训练数据偏见（尤其是以英语和西方为中心的来源）对人工智能生成语言输出的影响。
• 评估生成式人工智能在培养语言学习者跨文化交际能力方面的适用性。
• 识别人工智能在复制母语者所具备的真实、社会意识的语言使用方面的能力缺口。
• 指导教育工作者负责任地整合人工智能工具，同时正视其在促进文化真实性和语用得体性方面的局限性。

提出的方法

• 本文对现有研究中生成式人工智能在语言任务中的表现进行批判性分析，重点关注语用得体性。
• 采用社会语言学和文化真实性的标准评估人工智能输出，尤其关注情境敏感的语言使用。
• 结合语言学理论和第二语言习得（SLA）研究，评估人工智能与母语者语用能力的一致性。
• 研究训练数据的构成，强调大型语言模型中英语和西方文化内容的主导地位。
• 将人工智能生成的回答与母语者规范进行比较，识别在语气、正式程度和文化相关性方面的差异。
• 该方法依赖定性与比较评估，而非实验数据收集。

实验结果

研究问题

• RQ1 生成式人工智能系统在第二语言学习情境中在多大程度上能生成语用得体的语言？
• RQ2 人工智能训练数据中的语言和文化偏见在多大程度上影响了生成语言的真实性？
• RQ3 生成式人工智能能否有效支持语言学习者跨文化交际能力的发展？
• RQ4 人工智能在复制真实语言使用中固有的社会意识和生活经验方面存在哪些局限性？
• RQ5 鉴于人工智能在语用和真实性方面的不足，教育工作者应如何整合人工智能进行语言教学？

主要发现

• 尽管语法正确，生成式人工智能系统（如ChatGPT）经常生成语用不得体的语言。
• 大多数大型语言模型的训练数据主要为英语，且源自西方文化背景，导致系统性语言和文化偏见。
• 人工智能缺乏真实的社会经验，这限制了其在语言使用中与人类说话者相当的社会意识水平。
• 这些局限性显著降低了人工智能在教授真实、情境敏感的语言使用方面的有效性，而这是跨文化交际所必需的。
• 人工智能输出中缺乏文化真实性和语用得体性，削弱了其在超越基础语言练习的高级第二语言习得中的实用性。
• 教育工作者在将人工智能内容整合进语言教学时，必须对其真实性和语用性进行批判性评估。