[논문 리뷰] Towards Explainable AI Writing Assistants for Non-native English Speakers

Yewon Kim, Mina Lee외 2명|arXiv (Cornell University)|2023. 04. 05.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 비모국어 사용자(NNES)가 AI가 생성한 어색한 어휘를 평가하고 학습할 수 있도록 보다 이해하기 쉬운 AI 글쓰기 보조 도구 인터페이스를 제안한다. 15명의 NNES 사용자와 진행한 인터뷰를 통해, AI 제안에 설명이 부족할 경우 혼란과 불신이 발생함을 밝혀냈으며, 맥락적, 언어학적, 교육적 설명을 통합한 네 가지 인터페이스 프로토타입을 설계하여 NNES 사용자의 이해도, 선택 정확도, 어학 학습 성과를 향상시켰다.

ABSTRACT

We highlight the challenges faced by non-native speakers when using AI writing assistants to paraphrase text. Through an interview study with 15 non-native English speakers (NNESs) with varying levels of English proficiency, we observe that they face difficulties in assessing paraphrased texts generated by AI writing assistants, largely due to the lack of explanations accompanying the suggested paraphrases. Furthermore, we examine their strategies to assess AI-generated texts in the absence of such explanations. Drawing on the needs of NNESs identified in our interview, we propose four potential user interfaces to enhance the writing experience of NNESs using AI writing assistants. The proposed designs focus on incorporating explanations to better support NNESs in understanding and evaluating the AI-generated paraphrasing suggestions.

연구 동기 및 목표

• 비모국어 사용자(NNES)가 어색한 어휘 제안을 사용할 때 설명 부족으로 인한 과제를 조사하는 것.
• 설명 정보가 없는 상황에서 NNES 사용자가 AI가 생성한 어색한 어휘를 어떻게 평가하고 선택하는지 이해하는 것.
• NNES 사용자가 어색한 어휘 제안을 평가하고 학습할 수 있도록 지원하는 AI 글쓰기 보조 도구의 설계 요구사항을 특정하는 것.
• 신뢰도, 이해도, 어학 학습 향상을 높이기 위해 설명을 통합한 사용자 인터페이스 설계를 제안하고 프로토타입화하는 것.

제안 방법

• 다양한 수준의 비모국어 사용자 15명을 대상으로 반구조화된 생각을 말하는 인터뷰를 실시함.
• AI 도구 사용 패턴, 어색한 어휘 선택 과정의 과제, 제안 품질 평가 전략에 관한 데이터를 수집함.
• 인터뷰 녹취록과 화면 녹화 영상을 분석하기 위해 개방형 코드화와 주제 분석을 수행하여 반복적인 과제와 요구사항을 특정함.
• 예를 들어 언어학적 근거, 맥락 기반 추론, 대조적 예시 등 다양한 유형의 설명을 통합한 네 가지 프로토타입 인터페이스를 설계함.
• 어학 습득 이론과 설명 가능한 AI 문헌의 통찰을 바탕으로 설명의 깊이, 사용자 효율성, 학습 성과 간의 디자인 트레이드오프를 평가함.
• NNES 사용자가 프롬프트를 보완하고 AI 출력의 관련성을 높이기 위해 대화 기반 상호작용 모델을 탐색함.

실험 결과

연구 질문

• RQ1 설명이 제공되지 않은 상황에서 비모국어 사용자가 AI가 생성한 어색한 어휘 제안을 어떻게 평가하고 선택하는가?
• RQ2 NNES 사용자가 어색한 어휘 제안의 적절성과 품질을 평가할 때 겪는 주요 과제는 무엇인가?
• RQ3 NNES 사용자가 어색한 어휘 선택을 이해하고 더 나은 선택을 하기 위해 가장 유용하게 느끼는 설명 유형은 무엇인가?
• RQ4 AI 글쓰기 보조 도구는 사용성과 효율성을 유지하면서 어떻게 재설계되어야 비모국어 사용자의 어학 학습을 지원할 수 있는가?
• RQ5 비모국어 사용자를 위한 AI 도구에서 설명의 깊이, 사용자 효율성, 학습 효과성 간의 주요 디자인 트레이드오프는 무엇인가?

주요 결과

• 15명의 NNES 참가자 중 12명이 설명이 없어 어색한 어휘 제안의 품질을 평가하는 데 어려움을 겪었으며, 특히 어조, 어휘 수위, 어색한 어휘 조합의 미묘한 차이를 구분하는 데 어려움을 겪음.
• 참가자들은 어원어의 영향으로 'ratio'와 'proportion' 같은 단어를 자주 잘못 사용했고, AI 도구가 이러한 오류를 수정하거나 설명하지 않아 오랫동안 잘못된 사용이 지속됨.
• 많은 참가자들이 AI가 생성한 어색한 어휘가 자연스럽지 않거나 관용적으로 들리며, 특히 한국어나 유사 언어에서 번역할 경우 어원어의 어순이나 문법을 그대로 옮겨서 생기는 경향이 있음.
• NNES 사용자들은 특히 근거 없이 여러 선택지를 제시받을 경우 AI 제안에 대해 낮은 신뢰도를 느꼈으며, 이로 인해 망설임, 과도한 의존, 타당한 제안의 기각이 발생함.
• 높은 수준의 사용자는 제안 선택 시 인지 부담이 적어 설명이 낮은 수준의 사용자에게 더 중요할 수 있음.
• 참가자들은 일반적이거나 기술적인 설명보다는 변화의 언어학적 근거(예: 어조 조정, 공손 수위 조절, 어색한 어휘 조합 등)를 설명하는 설명을 선호함.