[論文レビュー] Fine-grained evaluation of Quality Estimation for Machine translation based on a linguistically-motivated Test Suite

Eleftherios Avramidis, Vivien Macketanz+2 more|arXiv (Cornell University)|Oct 16, 2019

Natural Language Processing Techniques参考文献 13被引用数 9

ひとこと要約

本稿では、機械翻訳における文単位の品質推定（QE）システムの細分化された評価を可能にする、言語学的に根拠付けられたテストセットを導入する。14の言語現象に分類された誤りを用い、各カテゴリごとのQEシステムのパフォーマンスを測定することで、どの誤りタイプに対しても他を上回るシステムは存在しないことが明らかになった。これは、システムの強みと弱みを特定するための的確な評価の価値を示している。

ABSTRACT

We present an alternative method of evaluating Quality Estimation systems, which is based on a linguistically-motivated Test Suite. We create a test-set consisting of 14 linguistic error categories and we gather for each of them a set of samples with both correct and erroneous translations. Then, we measure the performance of 5 Quality Estimation systems by checking their ability to distinguish between the correct and the erroneous translations. The detailed results are much more informative about the ability of each system. The fact that different Quality Estimation systems perform differently at various phenomena confirms the usefulness of the Test Suite.

研究の動機と目的

• 機械翻訳における品質推定（QE）において、言語学的知見を反映した評価が不足しているという問題に対処すること。
• 14の言語的誤りカテゴリを含む制御されたテストセットを構築し、QEシステムの細分化された評価を可能にすること。
• 集計スコアに依存するのではなく、特定の言語現象ごとのQEシステムのパフォーマンスを評価すること。
• 誤りタイプ別パフォーマンス分析を通じて、既存のQEシステムの相対的強みと弱みを明らかにすること。

提案手法

• テストセットはプロフェッショナルな言語学者と翻訳者によって構築され、MQMタイプロジーより抽出された14の誤りカテゴリに加え、サブカテゴリを追加した。
• 各誤りタイプに対してパラダイムが作成され、特定の言語現象を隔離できるように元文が設計された。
• MTシステムを用いて翻訳を生成し、正しさに基づいて正規表現を適用して自動的に「合格」または「不合格」とラベル付けした。
• 正解性を保証するため、ネイティブスピーカーとプロフェッショナル翻訳者がラベルを検証した。
• 5つのQEシステムが、各カテゴリにおける正しくない翻訳と正しい翻訳を区別する能力について評価された。
• パフォーマンスは各誤りタイプごとに測定され、データの不均衡を避けるためにカテゴリ間で等しく平均化された。

実験結果

リサーチクエスチョン

• RQ1 集計スコアではなく、特定の言語的誤りカテゴリごとに、異なるQEシステムのパフォーマンスはどのように異なるのか？
• RQ2 現在のQEシステムにとって最も困難な言語現象は何か？ また、システムごとにその難易度はどのように変化するか？
• RQ3 言語学的に根拠付けられたテストセットは、互いに類似したパフォーマンスを示すQEシステムの補完的強みを明らかにできるか？
• RQ4 テストセット内の誤りタイプの分布が、全体のQEパフォーマンスの解釈にどの程度影響を与えるか？

主な発見

• どの誤りカテゴリに対しても、すべての他のシステムを上回る1つのQEシステムは存在しない。B13、A17-basic、A17-fullはそれぞれ5つの異なる誤りタイプで最高スコアを記録した。
• B13は「未来II 仮定法II」時制カテゴリで最高の正確性（78.0％）を達成した。一方、A17-basicは曖昧さ（73％）と複合語（76.9％）で優れたパフォーマンスを示した。
• A17-fullは動詞の種類、特に反射動詞と他動詞構文において最も優れたパフォーマンスを示し、それぞれ61.2％および68.7％の正確性を達成した。
• 句構造解析に依存するシステム（例：B13、A17）は、長距離依存関係の処理においてより高いパフォーマンスを示したが、解析機能を欠くB17はこの分野で著しく低いパフォーマンスを示した。
• 全体的なパフォーマンスは優れているが、動詞時制処理では相対的に低いパフォーマンスを示すA17のフルバージョンは、一般指標と細分化された誤り処理の間で不一致が生じていることを示唆している。
• B17は否定的助動詞で70.3％の正確性を達成し、これは特定の誤りタイプにおいて予期しない強靭性を示している可能性がある。