[論文レビュー] Multilingual Tourist Assistance using ChatGPT: Comparing Capabilities in Hindi, Telugu, and Kannada

Sanjana Kolar, Rohit Kumar|arXiv (Cornell University)|Jul 28, 2023

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

この論文は、ChatGPT の英語からインド言語（ヒンディー語、カンナダ語、テルグ語）への翻訳を50問の BLEU ベース評価と人間評価で検証し、総じてヒンディー語が優れていることを示します。

ABSTRACT

This research investigates the effectiveness of ChatGPT, an AI language model by OpenAI, in translating English into Hindi, Telugu, and Kannada languages, aimed at assisting tourists in India's linguistically diverse environment. To measure the translation quality, a test set of 50 questions from diverse fields such as general knowledge, food, and travel was used. These were assessed by five volunteers for accuracy and fluency, and the scores were subsequently converted into a BLEU score. The BLEU score evaluates the closeness of a machine-generated translation to a human translation, with a higher score indicating better translation quality. The Hindi translations outperformed others, showcasing superior accuracy and fluency, whereas Telugu translations lagged behind. Human evaluators rated both the accuracy and fluency of translations, offering a comprehensive perspective on the language model's performance.

研究の動機と目的

• ChatGPT がインドの観光情報を英語からヒンディー語、カンナダ語、テルグ語へどれだけ翻訳できるかを評価する。
• 主観的評価（正確さと流暢さの評価）と客観的評価（BLEUスコア）を用いて翻訳品質を定量化する。
• 観光ドメインの翻訳改善のため、言語固有の強みと弱みを特定する。

提案手法

• 系統的役割（systemRole）とユーザー役割（userRole）を用いた2段階プロンプトで英語テキストをターゲット言語へ翻訳する（gpt-3.5-turboを使用）。
• 正確さと流暢さを5段階（1-5）で評価する5名の母語話者ボランティアで翻訳を評価。
• 機械翻訳を参照人間翻訳と比較してBLEUスコア（0-100）を50問について算出。
• 最初の60問を一般・食事・旅行の3つのテーマに分類し、関連性の高い50問を選択。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT はドイツ語/国際観光客を対象とした英語の観光問合せをヒンディー語、カンナダ語、テルグ語へ正確に翻訳できるか。
• RQ2 3言語間で主観的評価（正確さ/流暢さ）と客観的評価（BLEU）がどのように比較されるか。
• RQ3 観光ドメイン翻訳を強化するための言語固有の改善点は何か。

主な発見

• ヒンディー語の翻訳は総じて最高の正確さと流暢さを示す（例：一般カテゴリー: 正確さ4.8、流暢さ4.6）。
• テルグ語の成績は最も低い（BLEU: 13.12; 一般: 正確さ2.6; 流暢さ2.1）。
• カンナダ語の翻訳は中間的（BLEU: 46.78; 一般正確さ3.7; 流暢さ3.5）。
• 全体として、ヒンディー語の一般/テーマ翻訳はカンナダ語・テルグ語より正確さと流暢さの点で高い。