[論文レビュー] THUMT: An Open Source Toolkit for Neural Machine Translation

Jiacheng Zhang, Yanzhuo Ding+5 more|arXiv (Cornell University)|Jun 20, 2017

Natural Language Processing Techniques参考文献 15被引用数 88

ひとこと要約

THUMTはTheano上に構築されたオープンソースNMTツールキットを提供し、MLE、MRT、SSTのトレーニング基準をサポートし、可視化ツールと未知語置換を備え、中国語-英語翻訳の競争力のある結果を示す。

ABSTRACT

This paper introduces THUMT, an open-source toolkit for neural machine translation (NMT) developed by the Natural Language Processing Group at Tsinghua University. THUMT implements the standard attention-based encoder-decoder framework on top of Theano and supports three training criteria: maximum likelihood estimation, minimum risk training, and semi-supervised training. It features a visualization tool for displaying the relevance between hidden states in neural networks and contextual words, which helps to analyze the internal workings of NMT. Experiments on Chinese-English datasets show that THUMT using minimum risk training significantly outperforms GroundHog, a state-of-the-art toolkit for NMT.

研究の動機と目的

• 柔軟なトレーニング基準を備えたNMTツールのオープンソース開発を促進する。
• Theano上でエンコーダ-デコーダのアテンション機構を備えたNMT実装を提供する。
• 階層別関連性伝搬を用いた可視化ツールを通じてNMT内部を分析可能にする。
• 中国語-英語翻訳におけるトレーニング基準と最適化手法間の性能と訓練時間のトレードオフを示す。
• 半教師あり学習と最小リスク訓練が翻訳品質に与える利点を示す。

提案手法

• Theano上で標準的なアテンションベースのエンコーダ-デコーダNMTを実装する。
• 三つのトレーニング基準をサポートする：最大尤度推定（MLE）、最小リスク訓練（MRT）、半教師あり訓練（SST）。
• 最適化オプションとしてSGD、Adadelta、およびNaNを回避するよう改良したAdamを提供。
• 翻訳を分析するための階層別関連性伝搬に基づく可視化ツールを提供。
• 未知語置換のためにFastAlignを用いて二言語辞書を構築する。
• 中国語-英語翻訳でTHUMTをGroundHogと比較し、BLEUと訓練時間の指標を報告する。

実験結果

リサーチクエスチョン

• RQ1 THUMTは中国語-英語翻訳において主要なオープンソースNMTツールキットと競争力のあるBLEUスコアを達成しているか？
• RQ2 標準のMLEと比較して、MRTとSSTが翻訳品質に与える影響はどのようか？
• RQ3 さまざまな最適化手法がTHUMTの翻訳性能と訓練効率にどのように影響するか？
• RQ4 NMT内部の可視化は翻訳プロセスの理解やエラー診断に役立つか？
• RQ5 未知語置換が各基準で翻訳品質に与える影響はどうか？

主な発見

• MRTを用いたTHUMTは、中国語-英語翻訳でMLEより著しく改善する。
• Adam最適化はTHUMTにおいてAdaDeltaより一貫して改善をもたらす。
• 単言語コーパスを活用するSSTは、両方向（zh→en、en→zh）で翻訳品質を向上させる。
• 未知語の置換は、基準および最適化手法を問わず一貫して結果を改善する。
• 訓練時間は基準と最適化手法によって大きく異なり、MLE+AdamがMRTより速い。一方、SSTはMLE以外の基準の中で比較的効率的である。