[論文レビュー] Is it Great or Terrible? Preserving Sentiment in Neural Machine Translation of Arabic Reviews

Hadeel Saadany, Constantin Orǎsan|arXiv (Cornell University)|Oct 26, 2020

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、特に書評を含むアラビア語ユーザー生成コンテンツ（UGC）のニューラル機械翻訳（NMT）において、Google翻訳などのオンラインツールが感情極性を誤って表現する、感情保持エラーの問題に取り組む。感情感受性を持つ事前学習済み単語ベクトルと極性タグ付きの元文を用いてNMTモデルをファインチューニングすることで、F1スコア0.81を達成し、Google翻訳と比較して感情の不一致を75％削減。単語レベルおよび文レベルの感情正確性が顕著に向上した。

ABSTRACT

Since the advent of Neural Machine Translation (NMT) approaches there has been a tremendous improvement in the quality of automatic translation. However, NMT output still lacks accuracy in some low-resource languages and sometimes makes major errors that need extensive post-editing. This is particularly noticeable with texts that do not follow common lexico-grammatical standards, such as user generated content (UGC). In this paper we investigate the challenges involved in translating book reviews from Arabic into English, with particular focus on the errors that lead to incorrect translation of sentiment polarity. Our study points to the special characteristics of Arabic UGC, examines the sentiment transfer errors made by Google Translate of Arabic UGC to English, analyzes why the problem occurs, and proposes an error typology specific of the translation of Arabic UGC. Our analysis shows that the output of online translation tools of Arabic UGC can either fail to transfer the sentiment at all by producing a neutral target text, or completely flips the sentiment polarity of the target word or phrase and hence delivers a wrong affect message. We address this problem by fine-tuning an NMT model with respect to sentiment polarity showing that this approach can significantly help with correcting sentiment errors detected in the online translation of Arabic UGC.

研究の動機と目的

• アラビア語ユーザー生成コンテンツ（UGC）、特に書評におけるNMT出力の感情転送エラーを特定・分類すること。
• Google翻訳などのオンライン翻訳ツールが、特にダリジット・アラビア語（DA）と現代標準アラビア語（MSA）の間でコードスイッチングが生じる文脈でなぜ感情極性を保持できないかを調査すること。
• 単語レベルおよび文レベルでの感情翻訳の正確性を向上させる感情感受性のあるNMTトレーニングアプローチを開発すること。
• BLEUスコアを超えた評価を実施し、感情スコアの不一致を測定する辞書ベースのメトリクスを用いて感情保持の質を測ること。
• 感情に敏感な埋め込み表現と極性タグの導入によるファインチューニングが、低リソースで感情に敏感なアラビア語UGCのNMT性能を向上させることを実証すること。

提案手法

• ダリジット・アラビア語（DA）と現代標準アラビア語（MSA）で意味が逆転する対義語を含む、手作業で作成されたアラビア語書評のテストセットを構築した。
• NMT出力の定性的分析に基づき、感情転送の失敗や極性反転を特定する感情エラー型を構築した。
• 標準的な事前学習済み埋め込みを用いたモデルと、感情感受性のある事前学習済みベクトルと極性タグ付きの元文を用いたモデルの2つのトランスフォーマー基盤NMTモデルを訓練した。
• 感情感受性のあるモデルを、対義語の明示的極性ラベルが付与された小規模なアノテート済みデータセット上でファインチューニングし、文脈に応じた翻訳を改善した。
• 翻訳の感情スコアと参照スコアの平均二乗距離をMicrosoft Azure Sentiment Analysisを用いて計算する感情スコアベースのメトリクスを導入し、文レベルの感情保持を評価した。
• BLEUスコアと感情特化メトリクスの両方を用いて翻訳品質を比較し、後者が感情の的確性（affective fidelity）をより正確に評価できることを示した。

実験結果

リサーチクエスチョン

• RQ1 コードスイッチングが生じるDA-MSAテキストにおいて、NMT出力で生じるどのようなエラーがアラビア語UGCの感情保持を誤らせるか？
• RQ2 感情感受性のある入力表現は、アラビア語UGCのNMTにおける感情極性転送をどのように改善できるか？
• RQ3 BLEUスコアは、アラビア語→英語翻訳における感情保持を評価するのに最も適切なメトリクスか、それとも感情特化メトリクスが不可欠か？
• RQ4 感情に敏感な埋め込み表現と極性タグの導入によるファインチューニングは、アラビア語UGC翻訳における感情歪みをどの程度低減できるか？

主な発見

• Google翻訳は、アラビア語UGCの感情を頻繁に保持できず、中立的な出力や極性の反転を引き起こす。特に、ダリジット・アラビア語（DA）と現代標準アラビア語（MSA）で意味が逆転する対義語に対して顕著である。
• 感情感受性のあるNMTモデルは、単語レベルの感情分類でF1スコア0.81、精度0.85を達成し、Google翻訳を著しく上回った。
• 感情感受性のあるモデルは、肯定的レビューでは感情スコアの不一致（翻訳コスト）を0.06、否定的レビューでは0.14にまで低減した。一方、Google翻訳は肯定的インスタンスで0.71を記録した。
• Google翻訳は否定的対義語ではより良好な性能（コスト0.15）を示したが、肯定的対義語では著しく劣り（コスト0.71）、肯定感情の極性反転に系統的なバイアスがあることが示された。
• 短い文では感情不一致が最も顕著で、肯定的対義語「رهيبه」（awesome）が「Terrible」に誤訳される事例が多発した。
• 本研究は、BLEUスコアだけでは感情保持の評価が不十分であり、感情の的確性を正確に評価するには感情特化メトリクスが不可欠であることを確認した。