[論文レビュー] Towards Explainable AI Writing Assistants for Non-native English Speakers

Yewon Kim, Mina Lee+2 more|arXiv (Cornell University)|Apr 5, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、非ネイティブ英語話者（NNES）がAI生成の言い換え表現を評価し、学習するのを支援する説明可能なAIライティングアシスタントのインターフェースを提案する。15名のNNESユーザーを対象としたインタビューを通じて、AIの提案に説明が欠けていると混乱や不信感が生じることを同定。著者らは、文脈的・言語的・教育的説明を統合した4つのインターフェースプロトタイプを設計し、NNESユーザーの理解度、選択の正確性、および言語学習の成果を向上させる。

ABSTRACT

We highlight the challenges faced by non-native speakers when using AI writing assistants to paraphrase text. Through an interview study with 15 non-native English speakers (NNESs) with varying levels of English proficiency, we observe that they face difficulties in assessing paraphrased texts generated by AI writing assistants, largely due to the lack of explanations accompanying the suggested paraphrases. Furthermore, we examine their strategies to assess AI-generated texts in the absence of such explanations. Drawing on the needs of NNESs identified in our interview, we propose four potential user interfaces to enhance the writing experience of NNESs using AI writing assistants. The proposed designs focus on incorporating explanations to better support NNESs in understanding and evaluating the AI-generated paraphrasing suggestions.

研究の動機と目的

• AIライティングアシスタントを用いた言い換え作業において、非ネイティブ英語話者（NNES）が直面する課題、特に再編集の根拠となる説明の欠如に焦点を当てる。
• 説明情報が欠如している状況で、NNESユーザーがAI生成の言い換え候補をどのように評価し、選択するかを理解する。
• NNESユーザーが言い換え候補を評価し、学習するのを支援するAIライティングアシスタントの設計ニーズを同定する。
• 説明を統合したユーザーアクセスインターフェースのプロトタイプを提示し、NNESユーザーの信頼性、理解度、および言語学習の成果を向上させる。

提案手法

• 多様な英語能力レベルの非ネイティブ英語話者15名を対象に、半構造化的思考 aloudインタビューを実施した。
• AIツールの使用パターン、言い換え選択の課題、提案品質の評価戦略に関するデータを収集した。
• インタビューのトランスクリプトおよびスクリーンレコーディングを用い、オープンコーディングと主題的分析を実施し、繰り返し現れる課題とニーズを同定した。
• 文脈的根拠、言語的根拠、対照的例示といった異なる種類の説明を統合した4つのプロトタイプUIを設計した。
• 言語習得および説明可能なAIの文脈における知見を活用し、説明の深さ、ユーザー効率、学習効果の間の設計的妥当性を評価した。
• NNESユーザーがプロンプトを精緻化し、AI出力の関連性を向上させるための対話型インタラクションモデルを検討した。

実験結果

リサーチクエスチョン

• RQ1 説明が提供されていない状況で、非ネイティブ英語話者はAI生成の言い換え候補をどのように評価し、選択するのか？
• RQ2 NNESユーザーがAI生成の言い換えの適切さや品質を評価する際に直面する主な課題は何か？
• RQ3 NNESユーザーが言い換えの選択を理解し、より良い選択肢を選ぶために最も役立つ説明の種類は何か？
• RQ4 AIライティングアシスタントは、使いやすさと効率性を維持しながら、言語学習を支援するようにどのように再設計できるか？
• RQ5 非ネイティブ英語話者向けAIツールにおいて、説明の深さ、ユーザー効率、学習効果の間の設計的妥当性は何か？

主な発見

• 15名中12名のNNES参加者が、トーン、レジスタ、語の組み合わせの微細な違いを区別できないため、AI生成の言い換えの質を評価できなかった。
• 参加者たちは、母国語の影響により「ratio」と「proportion」を誤って使用することが多く、AIツールがその誤りを是正または説明しないため、継続的な誤用が生じた。
• 多くの参加者が、AI生成の言い換えが不自然または非習得的であると報告した。特に、韓国語や類似言語からの翻訳では、母国語の語順や構造を模倣する傾向があった。
• NNESユーザーは、根拠なしに複数の選択肢が提示された場合、AIの提案に対して低い信頼感を示し、迷い、過剰に依存するか、妥当な提案を拒否する傾向があった。
• 高レベルのユーザーは、提案選択にかかる認知的負荷が低く、説明が低レベルのユーザーにとって特に重要である可能性が示唆された。
• 参加者たちは、トーン調整、フォーマルさのレベル、語の組み合わせといった言語的根拠を明確にする説明を、一般的または技術的な記述よりも好んだ。