[論文レビュー] The Impact of Indirect Machine Translation on Sentiment Classification

Alberto Poncelas, Pintu Lohar+2 more|arXiv (Cornell University)|Aug 25, 2020

Topic Modeling参考文献 37被引用数 10

ひとこと要約

本稿は、直接翻訳および間接翻訳による機械翻訳（MT）が感情分類に与える影響を調査し、低リソース言語における感情分析の拡張にMTを活用する手法を提案する。翻訳エラーにより分類器の性能が低下するが、本研究では翻訳文、特に語彙多様性が低い翻訳文でさえも、妥当な結果をもたらすことが判明した。MTの品質が十分に高い場合、間接翻訳は直接翻訳と同等の性能を示す。

ABSTRACT

Sentiment classification has been crucial for many natural language processing (NLP) applications, such as the analysis of movie reviews, tweets, or customer feedback. A sufficiently large amount of data is required to build a robust sentiment classification system. However, such resources are not always available for all domains or for all languages. In this work, we propose employing a machine translation (MT) system to translate customer feedback into another language to investigate in which cases translated sentences can have a positive or negative impact on an automatic sentiment classifier. Furthermore, as performing a direct translation is not always possible, we explore the performance of automatic classifiers on sentences that have been translated using a pivot MT system. We conduct several experiments using the above approaches to analyse the performance of our proposed sentiment classification system and discuss the advantages and drawbacks of classifying translated sentences.

研究の動機と目的

• 低リソース言語におけるアノテート済みの感情データの不足という課題に対処するため、機械翻訳を活用してトレーニングおよび推論能力を拡張すること。
• 元のデータでトレーニングされた感情分類器が、直接翻訳または間接翻訳パイプラインを経由して翻訳された文を効果的に分類できるかどうかを調査すること。
• MTによって生成されたフィードバックにおける翻訳品質、語彙多様性、および感情の保持の間のトレードオフを評価すること。
• 言語固有のモデルを構築することなく、MTをスケーラブルなソリューションとしてクロスリンガル感情分析に活用する可能性を調査すること。
• ピボット言語を経由する間接翻訳文における分類器の性能を検討し、誤りの伝搬効果を理解すること。

提案手法

• 低リソース言語の顧客フィードバックを、seq2seqニューラルMTモデルを用いて英語に翻訳する。
• 直接翻訳パイプライン（元言語 → 目的言語）および間接翻訳パイプライン（元言語 → ピボット言語 → 目的言語）を適用し、英語をピボット言語として使用する。
• 元の英語フィードバックで感情分類器をトレーニングし、元の文、直接翻訳文、間接翻訳文の各々に対してその性能を評価する。
• 翻訳品質の評価にはBLEUやROUGEなどの自動指標を用いるが、主な評価基準として感情の保持に注目する。
• 語彙多様性の分析には、頻度統計（例：Paracrawlデータセット）を用い、分類に与える簡素化効果を評価する。
• F1スコアおよび正答率を用いて、3種類の入力タイプ（元の文、直接翻訳文、間接翻訳文）における分類器の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 元の文、直接翻訳文、間接翻訳文の顧客フィードバックを用いた感情分類の性能は、どのように変化するか？
• RQ2 翻訳品質と感情分類器の性能との相関関係はどの程度か？
• RQ3 MTによって生成された文における語彙多様性が、感情分類の正答率に与える影響は何か？
• RQ4 ピボット言語を経由する間接翻訳は、直接翻訳よりも分類器の性能を著しく低下させるか？また、どのような条件下で依然として有効とされるか？
• RQ5 文法的流暢さや適切さに欠ける可能性があるが、語彙多様性が低いMT生成文は、感情が保持されていれば、依然として分類性能が妥当に保たれるか？

主な発見

• 翻訳文では元の文よりも感情分類器の性能が劣り、翻訳エラーの影響でF1スコアに顕著な低下が見られる。
• 翻訳品質と分類器性能の相関は、ある程度の閾値を超えると弱くなる——翻訳が流暢で意味的に整合的になると、性能は安定化する。
• MTによって生成された文は語彙多様性が低く（例：'sympa'が頻出するなど）、分類を容易にする簡素化効果があり、性能の低下を部分的に相殺する可能性がある。
• MTシステムの品質が十分に高い場合、間接翻訳は直接翻訳と同等の性能を示すため、ピボットベースの翻訳が感情分析において実用的であることが示された。
• 流暢さや適切さに欠けても、感情が保持されていればMTによって翻訳されたフィードバックは依然として妥当な正答率で分類可能である。
• MTシステムがより単純で予測可能な文構造を生成する場合、元のデータと翻訳データの性能差は緩和される。