[논문 리뷰] Fluency Over Adequacy: A Pilot Study in Measuring User Trust in Imperfect MT

Marianna J. Martindale, Marine Carpuat|arXiv (Cornell University)|2018. 02. 16.

Natural Language Processing Techniques인용 수 15

한 줄 요약

이 pilot 연구는 기계 번역에서 어휘적 유창성과 적절성 오류가 사용자 신뢰에 미치는 영향을 제어된 설문 조사 실험을 통해 조사한다. 결과는 사용자가 적절성 오류보다 유창성 문제에 훨씬 더 민감하게 반응함을 보여주며, 내용이 정확하더라도 어색한 번역은 신뢰를 더 강하게 약화시킨다는 것을 시사한다.

ABSTRACT

Although measuring intrinsic quality has been a key factor in the advancement of Machine Translation (MT), successfully deploying MT requires considering not just intrinsic quality but also the user experience, including aspects such as trust. This work introduces a method of studying how users modulate their trust in an MT system after seeing errorful (disfluent or inadequate) output amidst good (fluent and adequate) output. We conduct a survey to determine how users respond to good translations compared to translations that are either adequate but not fluent, or fluent but not adequate. In this pilot study, users responded strongly to disfluent translations, but were, surprisingly, much less concerned with adequacy.

연구 동기 및 목표

• 사용자가 유창하지만 부적절한 번역, 또는 적절하지만 유창하지 않은 번역에 노출되었을 때 기계 번역에 대한 신뢰를 어떻게 조절하는지 조사하기 위해.
• 기계 번역에서 유창성과 적절성 오류가 사용자 신뢰에 미치는 영향을 비교하기 위해.
• 실제 사용자 경험을 중심으로 기계 번역에 대한 사용자 신뢰를 측정하기 위한 설문 기반 방법을 개발하기 위해.
• 기계 번역 개발을 지원하기 위해 사용자 신뢰도와 시스템 수용에 가장 크게 영향을 주는 오류 유형을 특정하기 위해.
• 기존의 BLEU나 METEOR와 같은 전통적 지표를 넘어서, 신뢰 인식 평가의 필요성을 강조하기 위해.

제안 방법

• 참가자가 기계 번역 출력을 순차적으로 노출된 제어된 온라인 설문 조사를 실시하였다.
• 참가자에게 세 가지 유형의 번역을 제시하였다: 유창하고 적절한 번역, 유창하지만 부적절한(불유창한) 번역, 적절하지만 유창하지 않은(부적절한) 번역.
• 실제 사용자 경험을 시뮬레이션하기 위해 5단계 번역 시퀀스를 사용하였으며, 각 번역 후 신뢰도를 측정하였다.
• 각 번역 후 100점 척도로 신뢰도 평가를 수집하였고, 이후 기준 번역을 제시하여 이해도를 확인하였다.
• 다양한 번역 유형 간의 신뢰 반응을 분석하여 유창성과 적절성 오류의 영향을 비교하였다.
• 개별 참가자의 평가 편향을 보정하기 위해 참가자별로 표준화된 신뢰 점수(z-점수)를 사용하였다.

실험 결과

연구 질문

• RQ1 불완전하지만 유창한 번역에 노출되었을 때 사용자 신뢰는 유창하고 적절한 번역에 비해 어떻게 영향을 받는가?
• RQ2 부적절하지만 유창하지 않은 번역에 노출되었을 때 사용자 신뢰는 고품질 번역에 비해 어떻게 영향을 받는가?
• RQ3 기계 번역에서 유창성 오류와 적절성 오류 중 어느 것이 사용자 신뢰에 더 큰 영향을 미치는가?
• RQ4 혼합된 품질의 번역에 노출되었을 때 사용자 신뢰는 시간이 지남에 따라 안정화되거나 변동하는가?
• RQ5 기준 번역을 보지 않고서 사용자가 오도된 번역을 인지할 수 있는 정도는 어느 정도인가?

주요 결과

• 사용자는 부적절한 번역보다 불유창한 번역에 훨씬 더 강하게 반응하여, 유창성이 적절성보다 신뢰에 더 큰 영향을 미친다는 것을 확인하였다.
• 이전 WMT 평가에서 유창성과 적절성 간의 높은 상관관계에도 불구하고, 이 연구의 사용자들은 신뢰 인식에서 유창성에 대해 적절성보다 명확히 우선시하는 경향을 보였다.
• 몇 차례의 양호한 번역 이후 신뢰 수준이 안정화되는 것으로 나타나, 사용자가 초기 판단을 형성하고 그 판단이 지속될 수 있음을 시사한다.
• 기준 번역을 보지 않은 상태에서는 부적절성에 대해 더 적게 탐지하는 경향이 있어, 오도된 번역이 간과될 수 있음을 나타낸다.
• 연구 결과, 사용자는 유창하지만 정확하지 않은 번역을 비유창하지만 정확한 번역보다 더 많이 신뢰하는 것으로 나타나, 잘못된 출력에 대해 암묵적인 신뢰가 생길 수 있음을 강조한다.
• 결과적으로, WMT에서의 적절성 점수는 유창성의 영향으로 인해 진정된 내용 정확성 측정보다 일반적인 품질 지표로 작용할 가능성이 높다는 점을 시사한다.