[論文レビュー] Automatic TM Cleaning through MT and POS Tagging: Autodesk's Submission to the NLP4TM 2016 Shared Task

Alena Zwahlen, O. Carnal+1 more|arXiv (Cornell University)|May 19, 2016

Natural Language Processing Techniques参考文献 11被引用数 3

ひとこと要約

本論文では、ニューラル機械翻訳（MT）評価指標—BLEUおよびレーベンシュタイン距離—と品詞（POS）タギング特徴を組み合わせることで、言語に依存しない機械学習的手法を提示し、翻訳メモリ（TM）の誤ったエントリを検出する。このシステムは、MTベースの類似度とPOSアラインメントを含む9つのキーフィーチャーを用いたランダムフォレスト分類器であり、英語–イタリア語および英語–スペイン語のバイナリ分類（II）タスクで最高のF1スコアを達成し、両方の言語対で1位となった。

ABSTRACT

We describe a machine learning based method to identify incorrect entries in translation memories. It extends previous work by Barbu (2015) through incorporating recall-based machine translation and part-of-speech-tagging features. Our system ranked first in the Binary Classification (II) task for two out of three language pairs: English-Italian and English-Spanish.

研究の動機と目的

• 誤った翻訳メモリ（TM）エントリを特定する言語に依存しない手法を開発し、機械翻訳および人的翻訳の効率を向上させること。
• Barbu（2015）の研究を拡張し、高度なMT評価指標とPOSタギングを統合することで、対応しないまたは誤った翻訳の検出を向上させること。
• 複数の言語対にわたり、実世界のTMデータを対象にシステムを評価し、正しい vs. 間違いのバイナリ分類を目的とする。
• ドメインの不一致（例：医療/ニュース vs. ソフトウェア）が性能に与える影響を評価すること。特に、英語–ドイツ語対では他の言語対と比較して成績が低かった。
• 生産環境での手法の妥当性を検証し、ノイズの多いTMをクリーニングし、下流の翻訳品質を向上させることをテストすること。

提案手法

• 本システムは、言語検出、単語および文字比、MTベースの類似度指標を含む9つの特徴を組み合わせて学習したランダムフォレスト分類器を用いる。
• 語彙的変動（例：同義語）を考慮するため、n-best翻訳を用いたリCALLベースのMT特徴を適用し、言い換えられたソース・ターゲットペアに対しても耐性を高める。
• コサイン類似度の代替として、BLEUおよび文字ベースのレーベンシュタイン距離を類似度測定に用い、n-gramおよび部分的な語の重複をより効果的に捉える。
• 各言語ごとに品詞タギングを実施し、Petrovら（2011）が提唱した11の言語に依存しない文法的カテゴリーにマッピングすることで、ソースとターゲットセグメント間の構文的構造アラインメントを比較する。
• ピリオード類似度や大文字小文字の差異といった特徴を追加し、マークアップやフォーマットの誤りを検出する。
• モデルは訓練データに限定して学習され、ハイパーパramータは5分割交差検証を用いて、訓練セットにおける加重F1スコアを最大化するように調整された。

実験結果

リサーチクエスチョン

• RQ1 MTベースの評価指標（BLEUおよびレーベンシュタイン）は、従来のコサイン類似度を上回って誤ったTMエントリを検出できるか？
• RQ2 異なる言語間で品詞タグのアラインメントを用いることで、対応しないまたは不正な翻訳の検出がどの程度向上するか？
• RQ3 n-best MT仮説（リCALLベースの特徴）を組み込むことで、有効だが言い換えられた翻訳に対する誤検出（偽陽性）は減少するか？
• RQ4 ドメインの不一致（例：医療/ニュース vs. ソフトウェア）は、言語に依存しないTMクリーニングシステムの性能にどのように影響するか？
• RQ5 MT、POS、および言語的ヒューリスティクスを組み合わせた特徴セットは、言語特化のチューニングなしで、バイナリTMクリーニングで最先端の結果を達成できるか？

主な発見

• 英語–イタリア語（F1 = 0.90）および英語–スペイン語（F1 = 0.89）のバイナリ分類（II）タスクで、最高のF1スコアを達成し、両言語対で1位となった。
• 英語–ドイツ語対ではF1が0.79にとどまり、ドメインの不一致や言語固有の課題の影響で性能が低下している可能性を示唆した。
• n-best MT仮説およびBLEU/レーベンシュタイン指標の導入により、コサイン類似度単体よりも再現率とF1スコアが向上し、言い換えや変種翻訳の処理において効果的だった。
• 品詞類似度特徴（pos_sim_all）は、特に類縁言語において、正しいと間違ったTUを区別する上で顕著な寄与を示した。
• 英語–ドイツ語を除く全言語対で、Barbu（2015）のSVMおよびランダムフォレストベースラインを上回ったが、英語–ドイツ語対では性能が同等であった。
• ファイングレイン分類タスクでは、同じ特徴セットが性能を発揮しなかったことから、選択された特徴が「ほぼ正しい」と「正しい」エントリを区別するには不十分である可能性があることが示された。