[論文レビュー] Fluency Over Adequacy: A Pilot Study in Measuring User Trust in Imperfect MT

Marianna J. Martindale, Marine Carpuat|arXiv (Cornell University)|Feb 16, 2018

Natural Language Processing Techniques被引用数 15

ひとこと要約

このパイロット研究では、機械翻訳における流暢さと適切さの誤りがユーザーの信頼に与える影響を、制御されたアンケート実験を用いて調査している。結果から、ユーザーは適切さの誤りよりも流暢さの問題に対して顕著に感受性を示しており、内容が正確であっても不自然な翻訳は信頼を著しく損なうことが示唆された。

ABSTRACT

Although measuring intrinsic quality has been a key factor in the advancement of Machine Translation (MT), successfully deploying MT requires considering not just intrinsic quality but also the user experience, including aspects such as trust. This work introduces a method of studying how users modulate their trust in an MT system after seeing errorful (disfluent or inadequate) output amidst good (fluent and adequate) output. We conduct a survey to determine how users respond to good translations compared to translations that are either adequate but not fluent, or fluent but not adequate. In this pilot study, users responded strongly to disfluent translations, but were, surprisingly, much less concerned with adequacy.

研究の動機と目的

• 流暢ではあるが適切でない翻訳、または適切ではあるが流暢でない翻訳にさらされた際、ユーザーがどのように機械翻訳に対する信頼を調整するかを調査すること。
• 流暢さと適切さの誤りが、機械翻訳システムにおけるユーザーの信頼に与える相対的影響を比較すること。
• 実世界のユーザー体験を重視し、内在的品質指標とは異なった方法で、ユーザーの機械翻訳に対する信頼を測定するためのアンケートベースの手法を開発すること。
• 信頼度やシステムの採用に最も顕著に影響を与える誤りタイプを特定することで、機械翻訳の開発を支援すること。
• 従来の指標（BLEU や METEOR など）を超えて、信頼に配慮した評価の必要性を強調すること。

提案手法

• 参加者に機械翻訳出力を順次提示する制御されたオンラインアンケートを実施した。
• 参加者に3種類の翻訳を提示した：流暢でかつ適切な翻訳、流暢だが適切でない（不自然な）翻訳、適切ではあるが流暢でない（不自然でないが不自然な）翻訳。
• 現実の使用状況を模倣するため、5セグメントの翻訳系列を用い、各翻訳の後に信頼度を測定した。
• 各翻訳の後に100点満点の信頼度評価を収集し、その後で参照翻訳を提示して理解度の確認を行った。
• 翻訳タイプごとの信頼度反応を分析し、流暢さと適切さの誤りが信頼に与える影響を比較した。
• 個々の参加者による評価バイアスを補正するため、各参加者ごとに信頼度スコアをzスコアに標準化した。

実験結果

リサーチクエスチョン

• RQ1 流暢ではあるが適切でない翻訳にさらされた場合、流暢でかつ適切な翻訳にさらされた場合と比べて、ユーザーの信頼度はどのように変化するか？
• RQ2 適切ではあるが流暢でない翻訳にさらされた場合、高品質な翻訳にさらされた場合と比べて、ユーザーの信頼度はどのように変化するか？
• RQ3 機械翻訳における信頼度に、流暢さの誤りと適切さの誤りのどちらがより強い影響を与えるか？
• RQ4 混合品質の翻訳に継続的にさらされた場合、ユーザーの信頼度は時間経過とともに安定するか、それとも変動するか？
• RQ5 参照翻訳を提示せずに、ユーザーは誤った翻訳をどれくらい正確に認識できるか？

主な発見

• ユーザーは不自然な翻訳に対して、不適切な翻訳よりも顕著に強い反応を示しており、流暢さが信頼度に与える影響が適切さよりも大きいことが示された。
• 過去の WMT 評価において流暢さと適切さの相関が高かったにもかかわらず、本研究のユーザーは信頼度の認識において、流暢さを適切さよりも明確に優先した。
• 数回の良好な翻訳の後、信頼度が安定する傾向が見られたことから、ユーザーは初期の判断を形成し、それが持続する可能性があることが示唆された。
• 参加者は参照翻訳を提示されない限り、不適切さを検出する可能性が低く、誤った翻訳が見過ごされる可能性があることが示された。
• 本研究では、正確さに欠けるが流暢な翻訳を、正確ではあるが不自然な翻訳よりもユーザーがより信頼していることが判明し、誤った出力に対して無意識のうちに信頼を寄せてしまうリスクが浮き彫りになった。
• 結果から、WMT における適切さスコアが、流暢さの影響を受けて、内容の正確さの真の指標として機能しているとは限らないことが示唆された。