[論文レビュー] HOPE: A Task-Oriented and Human-Centric Evaluation Framework Using Professional Post-Editing Towards More Effective MT Evaluation

Serge Gladkoff, Lifeng Han|arXiv (Cornell University)|Dec 27, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

HOPEは、『十分な品質』の出力を焦点にしたタスク指向型で人間中心の機械翻訳評価フレームワークであり、プロフェッショナルな再翻訳アノテーションを用いてMT品質を評価する。8つの主要な誤りタイプにわたり、幾何級数的スコーリングモデルを採用し、誤りペナルティポイントを非線形的に増加させることで、より高い評価者間信頼性、より速い評価、人間の認識および再翻訳作業量と強い整合性を達成した。英語→ルーマニア語のマーケティングおよびビジネステキストで検証済み。

ABSTRACT

Traditional automatic evaluation metrics for machine translation have been widely criticized by linguists due to their low accuracy, lack of transparency, focus on language mechanics rather than semantics, and low agreement with human quality evaluation. Human evaluations in the form of MQM-like scorecards have always been carried out in real industry setting by both clients and translation service providers (TSPs). However, traditional human translation quality evaluations are costly to perform and go into great linguistic detail, raise issues as to inter-rater reliability (IRR) and are not designed to measure quality of worse than premium quality translations. In this work, we introduce HOPE, a task-oriented and human-centric evaluation framework for machine translation output based on professional post-editing annotations. It contains only a limited number of commonly occurring error types, and use a scoring model with geometric progression of error penalty points (EPPs) reflecting error severity level to each translation unit. The initial experimental work carried out on English-Russian language pair MT outputs on marketing content type of text from highly technical domain reveals that our evaluation framework is quite effective in reflecting the MT output quality regarding both overall system-level performance and segment-level transparency, and it increases the IRR for error type interpretation. The approach has several key advantages, such as ability to measure and compare less than perfect MT output from different systems, ability to indicate human perception of quality, immediate estimation of the labor effort required to bring MT output to premium quality, low-cost and faster application, as well as higher IRR. Our experimental data is available at \url{https://github.com/lHan87/HOPE}.

研究の動機と目的

• 従来のMT評価指標の限界を是正する。特に意味的焦点が欠け、人間の判断と相関しない点。
• MQMのような標準的人間評価手法の高コスト、複雑さ、低い評価者間信頼性を克服する。
• 実世界の産業的現場において、サブプレミアムで『十分な品質』のMT出力に特化したスケーラブルでタスク指向の評価フレームワークを開発する。
• 過剰な文語的詳細を追跡せずに、再翻訳作業量の正確な推定と翻訳品質の人間認識を可能にする。
• 評価者間信頼性を向上させるとともに、評価時間を短縮しながら、プロフェッショナルな再翻訳実務と強い整合性を維持する。

提案手法

• MT再翻訳に特化した最小限の8つの誤りタイプ（固有名詞、影響、必須の適応、用語、文法、正確性、スタイル、校正）を設計する。
• 誤りペナルティポイント（EPP）が誤りの深刻さに応じて非線形的に増加する幾何級数的スコーリングモデルを実装し、実際の再翻訳作業量を反映する。
• 評価はプロフェッショナルな再翻訳の前後どちらの段階でも適用可能で、アノテート済み翻訳を入力として使用する。
• セグメント単位のスコアリングを採用することで、異なるMTエンジン間での透明性と比較可能性を確保する。
• 学習曲線を軽減し、一貫性を向上させるために、評価者を限定された誤りカテゴリにのみ訓練する。
• 2つのタスクでフレームワークを検証：英語→ロシア語のマーケティングコンテンツ（111セグメント）およびビジネスドメインテキスト（3,339語）、Google TranslateとDeepLを用いて。

実験結果

リサーチクエスチョン

• RQ1 最小限の誤りタイプに焦点を当てた評価フレームワークは、従来のMQMスタイル手法よりも高い評価者間信頼性を達成できるか？
• RQ2 幾何級数的スコーリングモデルは、実際の再翻訳作業量および人間の品質認識をどの程度適切に反映しているか？
• RQ3 特に技術的およびマーケティング分野において、HOPEフレームワークは『十分な品質』のMT出力について人間の判断とどの程度相関しているか？
• RQ4 コスト効率よくかつ迅速に適用可能であり、MTシステム改善に向けた透明で実行可能なフィードバックを提供できるか？
• RQ5 フレームワークは、プレミアム品質に満たない出力において、異なるMTシステムの性能を効果的に区別できるか？

主な発見

• HOPEフレームワークは、誤りタイプの解釈において高い評価者間信頼性（IRR）を示し、従来手法に比べて著しく一貫性が向上した。
• 幾何級数的スコーリングモデルは、翻訳誤りの深刻さを効果的に反映しており、実際の再翻訳作業量と良好な相関を示した。
• 完全なMQMスタイルの評価と比較して、評価時間が大幅に短縮された一方で、セグメントレベルでの透明性を維持した。
• フレームワークは、プレミアム品質基準を満たさない出力に対しても、MT出力の品質を測定・比較するのに成功した。
• 英語→ルーマニア語のマーケティングおよびビジネステキストにおける実験結果から、HOPEが人間の認識と整合しており、MT改善に向けた実行可能なインサイトを提供することが確認された。
• データセットおよびコードはhttps://github.com/lHan87/HOPEで公開されており、再現性およびさらなる研究を可能にしている。