[論文レビュー] Toxicity in Multilingual Machine Translation at Scale

Marta R. Costa‐jussà, Eric E. Smith+5 more|arXiv (Cornell University)|Oct 6, 2022

Software Engineering Research被引用数 4

ひとこと要約

本稿は、164言語で47万2千件の文を含むHolisticBiasデータセットを用いて、多言語機械翻訳における追加的毒性の発生を評価することで、多言語機械翻訳における追加的毒性を調査している。自動評価および人的評価を用いて、低リソース言語および性的指向や性別といったデモグラフィック軸において毒性が高くなることが判明した。有毒な翻訳の84％は、低水準のソース寄与に起因しており、これは誤訳または幻覚に起因していることを示唆している。研究では、訓練データのキュレート、幻覚の低減、不安定な翻訳の確認を通じて毒性を軽減する方針を提言している。

ABSTRACT

Machine Translation systems can produce different types of errors, some of which are characterized as critical or catastrophic due to the specific negative impact that they can have on users. In this paper we focus on one type of critical error: added toxicity. We evaluate and analyze added toxicity when translating a large evaluation dataset (HOLISTICBIAS, over 472k sentences, covering 13 demographic axes) from English into 164 languages. An automatic toxicity evaluation shows that added toxicity across languages varies from 0% to 5%. The output languages with the most added toxicity tend to be low-resource ones, and the demographic axes with the most added toxicity include sexual orientation, gender and sex, and ability. We also perform human evaluation on a subset of 8 translation directions, confirming the prevalence of true added toxicity. We use a measurement of the amount of source contribution to the translation, where a low source contribution implies hallucination, to interpret what causes toxicity. Making use of the input attributions allows us to explain toxicity, because the source contributions significantly correlate with toxicity for 84% of languages studied. Given our findings, our recommendations to reduce added toxicity are to curate training data to avoid mistranslations, mitigate hallucination and check unstable translations.

研究の動機と目的

• 多言語機械翻訳システムにおける追加的毒性の広がりと原因を調査すること。
• 翻訳出力において、毒性が誤訳または幻覚によって導入されるかどうかを分析すること。
• 大規模かつ多様なデータセットを用いて、多言語環境における自動毒性検出の信頼性を評価すること。
• 追加的毒性の増加と関連する言語固有のパターンおよびデモグラフィックパターンを同定すること。
• ソース寄与および翻訳の頑健性メトリクスに基づいた緩和戦略を提言すること。

提案手法

• 本研究は、13のデモグラフィック軸と47万2千件を超える文を含む、合成的かつテンプレートベースの多言語評価セットであるHolisticBiasデータセットを用いる。
• 自動毒性検出には、語彙リストベースの分類器を用い、元の文に存在しない追加的毒性を同定する。
• 入力の帰属を測定するため、alti+法を用いて各翻訳トークンにおけるソース寄与を計算する。
• 対応する翻訳間でジニ不純度を計算し、翻訳出力の頑健性および多様性を評価する。
• 人的評価を8つの翻訳方向で実施し、自動検出の妥当性を検証し、誤検出率および見逃し率を測定する。
• ソース寄与、ジニ不純度、および毒性の間の統計的相関を分析し、因果的パターンを同定する。

実験結果

リサーチクエスチョン

• RQ1 多言語機械翻訳において、どの言語方向が最も高いレベルの追加的毒性を示すか？
• RQ2 追加的毒性が低水準のソース寄与とどの程度関連しているか、誤訳または幻覚を示唆するか？
• RQ3 ジニ不純度で測定される翻訳の頑健性は、毒性の発生とどの程度相関するか？
• RQ4 人的アノテーションによる検証を通じて、多言語環境における自動毒性検出の信頼性はどの程度か？
• RQ5 どのデモグラフィック軸が翻訳出力において最も追加的毒性にかかりやすいか？

主な発見

• 164言語における追加的毒性率は0％から5％の間であり、低リソース言語でより顕著に見られる。
• 最も高い追加的毒性を示したデモグラフィック軸は、性的指向、性別および性、および身体的機能である。
• 有毒な翻訳の84％は低水準のソース寄与を示しており、これは誤訳または幻覚と強く関連していることを示唆している。
• 低水準のソース寄与と高いジニ不純度の組み合わせは、ベースラインの約2倍の毒性率と相関している。
• 人的評価により、8つの翻訳方向のうち5つで誤検出率が1％未満、見逃し率が3％未満であることが確認された。
• 本研究では、有毒な翻訳の45.6％が高水準のソース寄与を示しており、これは誤訳が追加的毒性の主な要因である可能性を示唆している。