[論文レビュー] Generative AI, Pragmatics, and Authenticity in Second Language Learning

Robert Godwin‐Jones|arXiv (Cornell University)|Oct 18, 2024

Language, Metaphor, and Cognition被引用数 4

ひとこと要約

本稿は、統計的モデリングおよび偏ったトレーニングデータの影響により、生成的AIが文化的に正確で文化的に適切な言語を生成できないことによる第二言語習得における制限を検討している。AIがチューティングや教材作成において利点を提供する一方で、その言語使用における社会的経験や文化的な自覚の欠如は、文化的な対人コミュニケーション能力の発達におけるその有効性を損なうと主張している。

ABSTRACT

There are obvious benefits to integrating generative AI (artificial intelligence) into language learning and teaching. Those include using AI as a language tutor, creating learning materials, or assessing learner output. However, due to how AI systems under-stand human language, based on a mathematical model using statistical probability, they lack the lived experience to be able to use language with the same social aware-ness as humans. Additionally, there are built-in linguistic and cultural biases based on their training data which is mostly in English and predominantly from Western sources. Those facts limit AI suitability for some language learning interactions. Stud-ies have clearly shown that systems such as ChatGPT often do not produce language that is pragmatically appropriate. The lack of linguistic and cultural authenticity has important implications for how AI is integrated into second language acquisition as well as in instruction targeting development of intercultural communication compe-tence.

研究の動機と目的

• 生成的AIシステムが第二言語習得の文脈において、どのように実用的言語使用を果たすかを調査すること。
• 特に英語および西洋中心のソースに起因するトレーニングデータのバイアスが、AIが生成する言語出力の真正性に与える影響を分析すること。
• 生成的AIが言語学習者における文化的対人コミュニケーション能力の発達を支援するのに適しているかどうかを評価すること。
• AIがネイティブスピーカーと比較して、真の社会的配慮を持つ言語使用を再現する能力に欠ける点を特定すること。
• 文化的および実用的真正性の欠如を認識した上で、教育者がAIツールを責任を持って統合する方法を導くこと。

提案手法

• 本稿は、生成的AIの言語タスクにおけるパフォーマンスについて、主に実用的適切さに焦点を当てた、既存研究の批判的分析を実施している。
• 社会的・文化的真正性の基準、特に文脈に依存する言語使用を基準に、AIの出力を評価している。
• 言語理論および第二言語習得（SLA）研究を援用して、AIのネイティブ並みの実用的言語能力との整合性を評価している。
• トレーニングデータの構成を検討し、大規模言語モデルにおいて英語および西洋文化コンテンツの優位性を強調している。
• AIが出力する反応とネイティブスピーカーの基準を比較し、トーン、丁寧さ、文化的関連性の面で乖離を特定している。
• 本研究の方法論は、実験的データ収集に依存せず、定性的および比較的評価に依拠している。

実験結果

リサーチクエスチョン

• RQ1 生成的AIシステムは、第二言語習得の文脈において、どの程度実用的適切な言語を生成するのか？
• RQ2 AIトレーニングデータに内在する言語的および文化的バイアスは、生成される言語の真正性にどのように影響するのか？
• RQ3 生成的AIは、言語学習者における文化的対人コミュニケーション能力の発達を効果的に支援できるのか？
• RQ4 AIは、真の言語使用に内在する社会的配慮と生活経験を再現する能力に、どのような制限を有するのか？
• RQ5 実用的適切さと真正性に欠ける点を踏まえ、教育者はどのように生成的AIを言語教育に統合すべきか？

主な発見

• ChatGPTなどの生成的AIシステムは、文法的に正しいものの、実用的適切さに欠ける言語を頻繁に生成する。
• 大多数の大規模言語モデルのトレーニングデータは、英語に強く、西洋文化の文脈から主に構成されており、体系的な言語的および文化的バイアスを内包している。
• AIは生活経験に欠けるため、人間の話者と同程度の社会的配慮をもって言語を使用する能力に制限を受ける。
• これらの制限は、文化的対人コミュニケーションに不可欠な文脈に応じた真の言語使用の指導におけるAIの有効性を顕著に低下させる。
• AI出力に文化的および実用的真正性が欠如しているため、基本的な言語練習を超えた高度な第二言語習得におけるその有用性が損なわれる。
• 教育者は、言語指導にAI生成コンテンツを統合する際、真正性と実用的適切さを吟味して評価する必要がある。