[論文レビュー] Recursive Neural Network Based Preordering for English-to-Japanese Machine Translation

Yuki Kawara, Chenhui Chu+1 more|arXiv (Cornell University)|May 25, 2018

Natural Language Processing Techniques参考文献 20被引用数 3

ひとこと要約

本稿では、手動による特徴工学を伴わずに、生の構文木から再配置意思決定を自動で学習する、再帰的ニューラルネットワーク（RvNN）に基づく英語→日本語機械翻訳の事前順序付け手法を提案する。この手法は、特徴工学を施した最先端手法と同等の翻訳品質を達成しており、特に文脈ベースのSMTにおいて、ベースラインシステムに比べて顕著なBLEUおよびRIBESスコアの向上を示している。

ABSTRACT

The word order between source and target languages significantly influences the translation quality in machine translation. Preordering can effectively address this problem. Previous preordering methods require a manual feature design, making language dependent design costly. In this paper, we propose a preordering method with a recursive neural network that learns features from raw inputs. Experiments show that the proposed method achieves comparable gain in translation quality to the state-of-the-art method but without a manual feature design.

研究の動機と目的

• 統計的・ニューラル機械翻訳における事前順序付けにおいて、言語依存的な手動による特徴設計の課題に対処すること。
• 構文構造を活用して、英語→日本語翻訳における最適な語順再配置を学習することで、翻訳品質を向上させること。
• 再帰的ニューラルネットワークを用いて部分木表現を活用する事前順序付け手法を開発し、手作業による特徴に依存しないこと。
• 提案手法を文脈ベースSMTおよびニューラルMTの両設定で評価し、異なるアーキテクチャ間での汎用性を示すこと。

提案手法

• 本手法は、再帰的ニューラルネットワーク（RvNN）を用い、部分木表現と構文的カテゴリに基づいて、2分木の子ノードの再配置を予測する。
• 部分木ベクトルは、子ノード埋め込みの連結を非線形変換により下位から上位に計算し、ReLU活性化関数を用いる。
• RvNNは、隠れ表現の重み付き和にソフトマックス層を適用することで、「Straight」と「Inverted」のラベルに関する確率分布を出力する。
• ゴールドスタンダードラベルは、ソース語のアライメントとターゲット文の順序との間のケンダールのτ相関を用いて生成され、再配置によってτが向上する場合に「Inverted」が割り当てられる。
• 語彙埋め込み、品詞タグ、構文的カテゴリを入力特徴として用い、リーフノードの表現を豊かにする。
• モデルは構文木上でエンドツーエンドに学習され、各内部ノードで学習された部分木の意味を基に再配置意思決定がなされる。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、英語→日本語翻訳において、手動による特徴工学を伴わず、効果的な事前順序付け意思決定を学習できるか？
• RQ2 RvNNに基づく事前順序付け手法は、BLEUおよびRIBESスコアの観点から、最先端の特徴ベースの事前順序付け手法と比較してどの程度の性能を示すか？
• RQ3 構文的カテゴリと品詞タグは、学習された事前順序付け意思決定の品質をどの程度向上させるか？
• RQ4 なぜ事前順序付けは文脈ベースSMTでは向上させるが、ニューラルMTでは性能を低下させるのか？この問題はどのように緩和できるか？
• RQ5 RvNNモデルは、PBSMTおよびNMTを含む異なるMTアーキテクチャに一般化できるか？

主な発見

• RvNNに基づく事前順序付け手法は、PBSMTでBLEUスコア32.1、RIBESスコア0.71を達成し、特徴ベースの最先端手法（BTG）と同等の性能を示した（p値はそれぞれ0.068および0.226）。
• 事前順序付けなしの純粋なPBSMTに比べて顕著な向上を示し、BLEUスコアは29.8から32.1に上昇した。
• 品詞タグと構文的カテゴリを組み込むことでBLEUスコアが向上し、最適な性能はλ=200で達成された。λのさらなる増加は結果の向上に寄与しなかった。
• RvNNによる事前順序付け後、高水準のケンダールのτ値を示す割合が著しく増加し、ターゲット語順との整合性が向上していることが示された。
• PBSMTでは改善が見られたが、NMTモデルでは事前順序付けを施した場合、ベースラインよりBLEUスコアが低くなった。これは、事前順序付けとNMTの学習目的との不整合を示唆している。
• 手動での分析から、解析エラーが事前順序付けの失敗を引き起こすことが判明したが、全体として事前順序付けが成功した場合には翻訳品質が顕著に向上した。