[論文レビュー] Using ChatGPT as a CAT tool in Easy Language translation

Silvana Deilen, Sergio Hernández Garrido+2 more|arXiv (Cornell University)|Aug 22, 2023

Text Readability and Simplification被引用数 7

ひとこと要約

本研究では、ChatGPTが公共行政文書のドイツ語エイジリーアイズ・ランゲ（Easy Language）版を生成するコンピューター支援翻訳（CAT）ツールとしての可能性を評価している。言語的および包括的プロンプト戦略を用いて、生成されたテキストは元のテキストよりも簡潔であるが、内容の不完全さや誤りのため、一般的に認められたエイジリーアイズ・ランゲ基準を満たさないことが判明した。これは、ChatGPTが専門家の後処理を要し、単独でのソリューションとしてではなく、草案作成支援ツールとして最も適していることを示している。

ABSTRACT

This study sets out to investigate the feasibility of using ChatGPT to translate citizen-oriented administrative texts into German Easy Language, a simplified, controlled language variety that is adapted to the needs of people with reading impairments. We use ChatGPT to translate selected texts from websites of German public authorities using two strategies, i.e. linguistic and holistic. We analyse the quality of the generated texts based on different criteria, such as correctness, readability, and syntactic complexity. The results indicated that the generated texts are easier than the standard texts, but that they still do not fully meet the established Easy Language standards. Additionally, the content is not always rendered correctly.

研究の動機と目的

• 大規模言語モデル（ChatGPTなど）が標準ドイツ語のテキストをドイツ語エイジリーアイズ・ランゲに効果的に翻訳できるかどうかを評価すること。
• 出力品質に与える影響を比較するため、言語的レベルと包括的の2つのプロンプト戦略の有効性を検証すること。
• ChatGPTが生成したテキストが、正しさ、読みやすさ、文構造の単純さの観点から、一般的に認められたエイジリーアイズ・ランゲ基準を満たしているかどうかを評価すること。
• ChatGPTがプロフェッショナルなエイジリーアイズ・ランゲ翻訳ワークフローにおいて、どの程度実用的なツールとして機能できるかを特定すること。

提案手法

• 本研究では、言語的レベルプロンプト（語彙選定、文構造、簡略化ルールに焦点を当てる）と包括的プロンプト（文脈と役割の割り当て、例：「エイジリーアイズ・ランゲ翻訳者として振る舞う」）の2つのプロンプト戦略を用いた。
• 元のテキストはドイツの公共行政ウェブサイトから選定され、市民向けの公式通信を対象としている。
• 生成されたテキストは、正しさ、読みやすさ、文構造の複雑さといった定性的および定量的基準で評価された。
• 評価は、語彙の簡略化、文の長さ、内容の正確性に重点を置いた、ドイツで一般的に認められたエイジリーアイズ・ランゲ基準に従ったものであった。
• 研究者たちは、テキスト特徴の基準に基づく評価と手動によるアセスメントを組み合わせた混合手法を採用した。
• 役割の割り当てや文脈のフレーミングが、出力品質の向上に寄与するかどうかを検証した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTが、一般的に認められた品質基準を満たすドイツ語エイジリーアイズ・ランゲ翻訳をどの程度生成できるか。
• RQ2 包括的プロンプト戦略は、言語的レベルプロンプトに比べて、より理解しやすく正確なエイジリーアイズ・ランゲテキストを生成するか。
• RQ3 ChatGPTが生成したテキストの読みやすさと文構造の複雑さは、元の元のテキストと比べてどのようになるか。
• RQ4 内容の誤りや欠落が、生成されたエイジリーアイズ・ランゲテキストの機能的使用可能性にどのような影響を及えるか。

主な発見

• ChatGPTが生成したテキストは元の標準ドイツ語テキストよりも読みやすさに優れているが、依然として公式のエイジリーアイズ・ランゲ基準を完全に満たしていない。
• 内容の正確性は一貫性に欠ける：多くの情報は正しく伝えられているが、重要な詳細が欠落している、または誤って表現されているケースがあり、意味が変わってしまうことがある。
• 特に役割の割り当て（例：「エイジリーアイズ・ランゲ翻訳者として振る舞う」）を組み合わせた包括的プロンプト戦略は、標準的なプロンプトに比べ、より適切で単純な出力を生み出している。
• より良いプロンプト戦略を用いても、生成されたテキストは依然として十分に簡略化されておらず、誤りを含んでいるため、ChatGPTを単独で使用することは、プロフェッショナルなエイジリーアイズ・ランゲ翻訳には不適切である。
• 本研究の結論として、ChatGPTは専門家の後処理を要する草案作成支援ツールとして最も適しており、エイジリーアイズ・ランゲ用の単独のCATツールとしては不適切である。
• LLMを言語内翻訳に用いる際には、誤りの検出、内容の検証、読者への適合性の調整といった、プロフェッショナルな後処理スキルが不可欠である。