[論文レビュー] Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses

Wenshi Gu|arXiv (Cornell University)|Mar 27, 2023

Natural Language Processing Techniques被引用数 11

ひとこと要約

本論文は、語彙情報に基づく事前編集スキームと2段階のChatGPTプロンプト戦略を提案し、日本語-中国語の属性節翻訳の平均翻訳精度をゼロショット設定で35%超改善した。

ABSTRACT

In the field of Japanese-Chinese translation linguistics, the issue of correctly translating attributive clauses has persistently proven to be challenging. Present-day machine translation tools often fail to accurately translate attributive clauses from Japanese to Chinese. In light of this, this paper investigates the linguistic problem underlying such difficulties, namely how does the semantic role of the modified noun affect the selection of translation patterns for attributive clauses, from a linguistic perspective. To ad-dress these difficulties, a pre-edit scheme is proposed, which aims to enhance the accuracy of translation. Furthermore, we propose a novel two-step prompt strategy, which combines this pre-edit scheme with ChatGPT, currently the most widely used large language model. This prompt strategy is capable of optimizing translation input in zero-shot scenarios and has been demonstrated to improve the average translation accuracy score by over 35%.

研究の動機と目的

• 日本語→中国語翻訳において、修飾節が翻訳しづらい理由を調査する。
• 修飾名詞の意味役割が翻訳パターンにどのように影響するかを特定する。
• より正確な翻訳を促進する事前編集スキームを開発する。
• 事前編集をChatGPTのプロンプトと組み合わせた2段階のプロンプト戦略をゼロショット翻訳に提案する。
• 提案手法が翻訳精度に与える影響を評価する。

提案手法

• 修飾節の翻訳を指針とする言語学的根拠に基づく事前編集スキームを構築する。
• 事前編集スキームをChatGPTのプロンプトに統合する2段階のプロンプト戦略を開発する。
• この戦略を日本語から中国語へのゼロショット翻訳タスクに適用する。
• ベースライン翻訳と比較した翻訳精度の改善を評価する。
• このアプローチが平均翻訳精度の向上をもたらすことを示す。
• 修飾名詞の意味役割が翻訳パターンの選択にどのように影響するかを議論する。

実験結果

リサーチクエスチョン

• RQ1 日本語→中国語の修飾節における修飾名詞の意味役割は、翻訳パターンにどのように影響するか。
• RQ2 言語学的に情報を取り入れた事前編集スキームは、ChatGPTのプロンプトと組み合わせることでゼロショット翻訳の品質を改善できるか。
• RQ3 2段階のプロンプト戦略を用いた場合の翻訳精度への全体的な影響は、ベースライン手法と比較してどうか。

主な発見

• 事前編集スキームと2段階のChatGPTプロンプト戦略を組み合わせると、ゼロショットの状況で平均翻訳精度を35%以上向上させる。