[논문 리뷰] Generative AI, Pragmatics, and Authenticity in Second Language Learning

Robert Godwin‐Jones|arXiv (Cornell University)|2024. 10. 18.

Language, Metaphor, and Cognition인용 수 4

한 줄 요약

이 논문은 제너레이티브 AI가 제2외국어 학습에서의 한계를 분석하며, 통계적 모델링과 편향된 훈련 데이터로 인해 의사소통적으로 적절하고 문화적으로 진정성 있는 언어를 생성하지 못한다는 점을 지적한다. AI는 튜터링과 자료 제작 측면에서 유용성을 지닌다 할지라도, 실제 사회적 경험과 문화적 인식이 부족하여 상호문화적 의사소통 능력 개발에 효과적이지 않다는 점을 주장한다.

ABSTRACT

There are obvious benefits to integrating generative AI (artificial intelligence) into language learning and teaching. Those include using AI as a language tutor, creating learning materials, or assessing learner output. However, due to how AI systems under-stand human language, based on a mathematical model using statistical probability, they lack the lived experience to be able to use language with the same social aware-ness as humans. Additionally, there are built-in linguistic and cultural biases based on their training data which is mostly in English and predominantly from Western sources. Those facts limit AI suitability for some language learning interactions. Stud-ies have clearly shown that systems such as ChatGPT often do not produce language that is pragmatically appropriate. The lack of linguistic and cultural authenticity has important implications for how AI is integrated into second language acquisition as well as in instruction targeting development of intercultural communication compe-tence.

연구 동기 및 목표

• 제너레이티브 AI 시스템이 제2외국어 학습 맥락 내에서 의사소통적으로 적절한 언어 사용을 얼마나 잘 수행하는지 조사하기.
• 특히 영어 및 서양 중심의 자료에서 비롯된 훈련 데이터 편향이 AI 생성 언어 출력에 어떤 영향을 미치는지 분석하기.
• 제너레이티브 AI가 언어 학습자들이 상호문화적 의사소통 능력을 기르는 데 얼마나 적합한지 평가하기.
• 원어민과 비교했을 때 AI가 진정성 있고 사회적으로 인식된 언어 사용을 얼마나 잘 재현할 수 있는지에 대한 격차를 밝혀내기.
• 문화적 및 의사소통적 진정성을 키우는 데서 AI의 한계를 고려하면서 교사들이 AI 도구를 책임감 있게 통합할 수 있도록 안내하기.

제안 방법

• 논문은 제너레이티브 AI의 언어 과제 수행 능력, 특히 의사소통적 적절성에 초점을 맞춰 기존 연구들을 비판적으로 분석한다.
• 사회언어학적 및 문화적 진정성 기준을 적용하여 AI 출력을 평가하며, 특히 맥락 민감한 언어 사용에 중점을 둔다.
• 언어 이론과 제2외국어 습득(SLA) 연구를 바탕으로 AI가 원어민 수준의 의사소통적 능력과 얼마나 부합하는지 평가한다.
• 대규모 언어 모델의 훈련 데이터 구성 요소를 분석하며, 영어 및 서양 문화 콘텐츠의 지배적 우세성을 강조한다.
• AI가 생성한 응답과 원어민의 기준을 비교하여 어조, 공손 수위, 문화적 관련성 측면에서 격차를 확인한다.
• 실험적 데이터 수집에 의존하기보다는 정성적 및 비교 평가 방법을 활용한다.

실험 결과

연구 질문

• RQ1 제너레이티브 AI 시스템은 제2외국어 학습 맥락에서 얼마나 의사소통적으로 적절한 언어를 생성하는가?
• RQ2 AI 훈련 데이터의 언어적 및 문화적 편향은 생성된 언어의 진정성에 어떤 영향을 미치는가?
• RQ3 제너레이티브 AI는 언어 학습자들이 상호문화적 의사소통 능력을 기르는 데 효과적으로 기여할 수 있는가?
• RQ4 AI는 진정성 있고 사회적으로 인식된 언어 사용에 필수적인 실제 사회적 경험과 사회적 인식을 얼마나 잘 재현할 수 있는가?
• RQ5 AI가 의사소통적 적절성과 진정성 측면에서의 한계를 고려할 때 교사들은 어떻게 제너레이티브 AI를 언어 교육에 통합해야 하는가?

주요 결과

• ChatGPT와 같은 제너레이티브 AI 시스템은 문법적으로는 올바르지만 의사소통적으로 부적절한 언어를 자주 생성한다.
• 대부분의 대규모 언어 모델의 훈련 데이터는 영어로 구성되어 있으며 서양 문화 맥락에서 유래하여 체계적인 언어적 및 문화적 편향을 내포하고 있다.
• AI는 실제 사회적 경험을 갖추지 못해 인간 언어 사용자만큼의 사회적 인식 수준으로 언어를 사용할 능력이 제한되어 있다.
• 이러한 한계는 상호문화적 의사소통에 필수적인 진정성 있고 맥락 민감한 언어 사용을 가르치는 데서 AI의 효과성을 크게 떨어뜨린다.
• AI 출력물에서 문화적 및 의사소통적 진정성이 결여되어 있음으로써, 기본 언어 연습을 넘어서는 고급 제2외국어 습득의 목적을 달성하는 데서 AI의 유용성이 떨어진다.
• 교육자들은 언어 지도에 AI 생성 콘텐츠를 통합할 때 진정성과 의사소통적 적절성을 비판적으로 평가해야 한다.