[論文レビュー] Translation Quality Estimation using Recurrent Neural Network

Raj Nath Patel, M. Sasikumar|arXiv (Cornell University)|Oct 16, 2016

Natural Language Processing Techniques被引用数 8

ひとこと要約

本論文では、次なる単語の予測ではなく'OK'または'BAD'ラベルの予測を行うように変更された再帰的ニューラルネットワーク言語モデル（RNN-LM）を用いた、言語に依存しない単語およびフレーズレベルの翻訳品質推定システムを提案する。この手法は、LSTMおよびGRUアーキテクチャを用い、事前学習、二言語特徴、サブラベル化を組み合わせることで、クラスの不均衡に対処し、WMT16共有タスクのテストセットでBAD単語のF1スコア41.92、BADフレーズのF1スコア50.31を達成した。

ABSTRACT

This paper describes our submission to the shared task on word/phrase level Quality Estimation (QE) in the First Conference on Statistical Machine Translation (WMT16). The objective of the shared task was to predict if the given word/phrase is a correct/incorrect (OK/BAD) translation in the given sentence. In this paper, we propose a novel approach for word level Quality Estimation using Recurrent Neural Network Language Model (RNN-LM) architecture. RNN-LMs have been found very effective in different Natural Language Processing (NLP) applications. RNN-LM is mainly used for vector space language modeling for different NLP problems. For this task, we modify the architecture of RNN-LM. The modified system predicts a label (OK/BAD) in the slot rather than predicting the word. The input to the system is a word sequence, similar to the standard RNN-LM. The approach is language independent and requires only the translated text for QE. To estimate the phrase level quality, we use the output of the word level QE system.

研究の動機と目的

• 翻訳の参照文書が不要な、言語に依存しない品質推定システムの開発。機械翻訳における単語・フレーズの正誤を予測することを目的とする。
• 翻訳品質推定において、'OK'ラベルが'BAD'ラベルよりも著しく多いという、偏ったクラス分布の課題に対処すること。
• RNNベースのモデルに、元の言語（ソース）および翻訳言語（ターゲット）の二言語的文脈を組み込むことで、性能の向上を図ること。
• 事前学習、サブラベル化、モデルの深さが品質推定性能に与える影響を評価すること。
• WMT16共有タスクにおける単語およびフレーズレベルの品質推定のための、競争力のあるシステムの提出

提案手法

• RNN-LMアーキテクチャを、次の単語の予測ではなく、文脈窓内の中央の単語に対するラベル（OK/BAD）を予測するように変更する。
• 翻訳単語を中心として固定サイズ（例：3単語）の文脈窓を用い、文の端ではパディングを行う。
• 順序依存性と長距離の文脈を捉えるために、LSTMおよびGRUの両方のバージョンを実装する。
• 単語埋め込みを入力表現として用い、一般化性能を向上させるために、単言語または二言語データで事前学習を実施する。
• 'OK'と'BAD'のラベルの不均衡をより良く処理するために、サブラベル（例：BAD_B、BAD_I、BAD_E）を導入する。
• 交差エントロピー損失と確率的勾配降下法を用いてモデルを学習し、早期停止とL2正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 変更されたRNN-LMアーキテクチャは、翻訳文のみを入力として用いることで、単語レベルの翻訳品質（OK/BAD）を効果的に予測できるか？
• RQ2 事前学習とサブラベル化の技術は、不均衡な品質推定データにおいて性能をどのように向上させるか？
• RQ3 元言語および翻訳言語の両方の文脈を組み込むことで、単言語モデルと比較して品質推定の正確性が向上するか？
• RQ4 LSTMとGRUの異なるRNNバージョン、および深さ（深層対浅層）の違いが、このタスクにおいてどのように性能に影響するか？
• RQ5 単語レベルの品質推定モデルは、フレーズレベルの推定に効果的に拡張可能か？

主な発見

• GRUベースのモデルがLSTMベースのモデルを上回り、事前学習とサブラベル化を適用した場合、BAD単語のF1スコアは49.61、BADフレーズのF1スコアは77.20を達成した。
• 事前学習はモデル性能を顕著に向上させ、BAD単語のF1スコアをGRUの45.70からGRU_BL_PT_SLの49.61に向上させた。
• サブラベルの導入により、クラスの不均衡が緩和され、ベースラインと比較してBADラベルのF1スコアが最大3.5ポイント向上した。
• 二言語モデル（元言語および翻訳言語の両方の文脈を用いる）は、常に単言語モデルを上回り、言語間の文脈が品質推定を向上させることを示した。
• 最終的に提出されたシステム（GRU + 事前学習 + サブラベル化）は、WMT16 Test2セットでBAD単語のF1スコア41.92、BADフレーズのF1スコア50.31を達成し、CRFベースラインの36.82および40.14 F1を上回った。
• 深層LSTMモデルは浅層モデルに比べて性能が劣り、深層アーキテクチャに十分な訓練データが不足していることが原因とされる。