[論文レビュー] Apply Chinese Radicals Into Neural Machine Translation: Deeper Than Character Level

Shaohui Kuang, Lifeng Han|arXiv (Cornell University)|May 3, 2018

Natural Language Processing Techniques被引用数 2

ひとこと要約

本稿では、中国語の漢字部首をニューラル機械翻訳（NMT）に統合することで、中国語→英語翻訳における未知語（OOV）の取り扱いや翻訳の的確性を向上させる手法を提案する。文字とは別に部首を意味的単位としてモデル化することで、BLEU、NIST、LEPOR、BEER、CharacTERといった複数の指標において性能が向上し、特に語の区切りに関する知識を保持している場合、的確性の向上が顕著に見られる。

ABSTRACT

In neural machine translation (NMT), researchers face the challenge of un-seen (or out-of-vocabulary OOV) words translation. To solve this, some researchers propose the splitting of western languages such as English and German into sub-words or compounds. In this paper, we try to address this OOV issue and improve the NMT adequacy with a harder language Chinese whose characters are even more sophisticated in composition. We integrate the Chinese radicals into the NMT model with different settings to address the unseen words challenge in Chinese to English translation. On the other hand, this also can be considered as semantic part of the MT system since the Chinese radicals usually carry the essential meaning of the words they are constructed in. Meaningful radicals and new characters can be integrated into the NMT systems with our models. We use an attention-based NMT system as a strong baseline system. The experiments on standard Chinese-to-English NIST translation shared task data 2006 and 2008 show that our designed models outperform the baseline model in a wide range of state-of-the-art evaluation metrics including LEPOR, BEER, and CharacTER, in addition to the traditional BLEU and NIST scores, especially on the adequacy-level translation. We also have some interesting findings from the results of our various experiment settings about the performance of words and characters in Chinese NMT, which is different with other languages. For instance, the full character level NMT may perform very well or the state of the art in some other languages as researchers demonstrated recently, however, in the Chinese NMT model, word boundary knowledge is important for the model learning.

研究の動機と目的

• 中国語→英語ニューラル機械翻訳における未知語（OOV）の問題に対処すること。
• 漢字の意味的構成要素である部首が、文字レベルのモデル化を越えて翻訳品質を向上させ得るかどうかを検討すること。
• 語の区切りに関する知識が中国語NMTにおいて他の言語とは異なり、より重要な役割を果たすかどうかを評価すること。
• 部首に埋め込まれた意味的情報を活用することで、翻訳の的確性を向上させること。
• 部首に配慮したモデル化が、複数の評価指標において一貫した向上をもたらすことを示すこと。

提案手法

• 部首をNMTエンコーダ・デコーダフレームワークの追加入力表現として統合する。
• 比較のための強力なベースラインとして、注目メカニズムを用いたNMTモデルを採用する。
• 部首を異なるレベルで統合する複数のモデル変種を設計：文字レベル、サブ文字レベル、語レベルでの部首特徴統合。
• NIST中国語→英語翻訳ベンチマーク（2006年および2008年）を用いてモデルを学習する。
• 部首と文字の両方が意味的および構造的関係を捉えられる統合埋め込み空間を採用する。
• デコーダが翻訳中に関連する部首や文字に注目できるように、注目メカニズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 NMTに中国語の部首を統合することで、未知語やOOV語の翻訳性能が向上するか？
• RQ2 標準的な文字レベルのモデル化と比較して、部首の統合が翻訳の的確性に与える影響は何か？
• RQ3 語の区切りに関する知識が、他の言語とは異なり、中国語NMTにおいてより重要であるか？
• RQ4 部首が表面的な文字形を越えた一般化能力を向上させる有効な意味的単位として機能するか？
• RQ5 BLEU、NIST、LEPOR、BEER、CharacTERスコアの観点から、文字レベルと部首強化型の統合戦略の違いは何か？

主な発見

• 部首を拡張したNMTモデルは、BLEU、NIST、LEPOR、BEER、CharacTERといった主要な評価指標すべてでベースラインを上回る性能を示した。
• 特に的確性レベルの翻訳において顕著な向上が見られ、意味的整合性の向上が裏付けられた。
• 完全な文字レベルNMTモデルは良好な性能を示すが、部首の統合により、特にレア語やOOV語において一貫した向上が得られた。
• 結果から、語の区切りに関する知識が中国語NMTにおいて効果的な学習に不可欠であることが示された。これは、他の言語では文字レベルのモデルで十分であるという先行研究とは対照的である。
• 本研究では、部首が意味的に意味のある情報を保持しており、未学習の文字や語への一般化能力を向上させることを明らかにした。
• 異なる実験設定の結果から、部首に基づくモデル化は、純粋な文字レベルのモデル化よりも中国語の語彙的および意味的構造を捉えるのに優れていることが判明した。