[論文レビュー] SMT vs NMT: A Comparison over Hindi & Bengali Simple Sentences.

Sainik Kumar Mahata, Soumil Mandal+2 more|arXiv (Cornell University)|Dec 12, 2018

Natural Language Processing Techniques参考文献 26被引用数 11

ひとこと要約

本研究では、英語-ヒンディー語および英語-ベンガル語の単純文について、統計的機械翻訳（SMT）とニューラル機械翻訳（NMT）を比較した。SMTにはMosesを、NMTには文字レベルおよび語彙レベルのNMT（ソフトアテンション付き）を用いた。結果として、単純文ではNMTがSMTを上回るが、複雑さの混合したコーパスで学習した場合、SMTがNMTを上回る。これは、翻訳性能に影響を与える要因として、データの複雑さと学習データの構成が重要であることを示している。

ABSTRACT

In the present article, we identified the qualitative differences between Statistical Machine Translation (SMT) and Neural Machine Translation (NMT) outputs. We have tried to answer two important questions: 1. Does NMT perform equivalently well with respect to SMT and 2. Does it add extra flavor in improving the quality of MT output by employing simple sentences as training units. In order to obtain insights, we have developed three core models viz., SMT model based on Moses toolkit, followed by character and word level NMT models. All of the systems use English-Hindi and English-Bengali language pairs containing simple sentences as well as sentences of other complexity. In order to preserve the translations semantics with respect to the target words of a sentence, we have employed soft-attention into our word level NMT model. We have further evaluated all the systems with respect to the scenarios where they succeed and fail. Finally, the quality of translation has been validated using BLEU and TER metrics along with manual parameters like fluency, adequacy etc. We observed that NMT outperforms SMT in case of simple sentences whereas SMT outperforms in case of all types of sentence.

研究の動機と目的

• 英語-ヒンディー語および英語-ベンガル語といった低リソース言語対において、NMTが単純文においてSMTを上回るかどうかを評価すること。
• 翻訳モデルを単に単純文のみで学習させることで翻訳品質が向上するかどうかを調査すること。
• データの複雑さとモデルアーキテクチャの違いに応じたSMTとNMTの性能差を分析すること。
• 自動評価と人的評価の両方で、BLEU、TER、流暢さ、適切さの指標を用いて翻訳品質を検証すること。

提案手法

• 単一節構造を同定するためにStanford Dependency Parserを用いたルールベース手法により、TDILライセンスの英語-ヒンディー語および英語-ベンガル語並列コーパスから単純文を抽出した。
• SMTシステムを、単純文コーパスおよび完全な複雑さのコーパスの両方でMosesツールキットを用いて学習させた。
• 文字レベルNMT（CNMT）と語彙レベルNMT（WNMT）の2つのNMTモデルを開発し、後者にはアテンションを導入してアライメントを改善した。
• アテンションあり（WNMT(A)）となし（WNMT(NA)）の語彙レベルNMTを用いて、アテンションの影響を翻訳品質に与えるかを評価した。
• 自動指標（BLEUとTER）とネイティブスピーカーによる流暢さと適切さの人的評価を用いて、システムを評価した。
• 人的評価には5段階スケールを用い、4名の言語学者（各言語2名）が複数のテストセットで翻訳を評価した。

実験結果

リサーチクエスチョン

• RQ1 英語-ヒンディー語および英語-ベンガル語翻訳において、単純文で学習した場合にNMTがSMTを上回るか？
• RQ2 複雑さの混合した学習データと比較して、単に単純文のみで翻訳モデルを学習させることで翻訳品質が向上するか？
• RQ3 低リソース言語対において、文字レベルNMTと語彙レベルNMTの性能はどのように比較されるか？
• RQ4 ソフトアテンション機構は、これらの言語対における語彙レベルNMTの出力品質にどのような影響を与えるか？
• RQ5 どのような状況でSMTがNMTを上回り、その要因は何か？

主な発見

• NMTは単純文においてSMTを上回る：語彙レベルNMTにアテンションを適用した場合、英語-ベンガル語の単純文でBLEUスコア9.95、TER85.66を達成したのに対し、SMTはBLEU0.00、TER117.67であった。
• 複雑さの混合したコーパスではSMTがNMTを上回る：英語-ベンガル語において、SMTはBLEU85.26、TER15.9を達成したのに対し、最良のNMTモデル（アテンション付きWNMT）はBLEU9.95、TER85.66であった。
• 語彙レベルNMTにアテンションを適用したモデル（WNMT(A)）は、ベンガル語翻訳において平均適切さ2.08および流暢さ2.12を達成し、SMTおよび文字レベルNMTを上回った。
• 文字レベルNMT（CNMT）は語彙レベルNMTより劣り、英語-ベンガル語の単純文でBLEUスコア8.69を記録した。これは低リソース環境における制限を示している。
• 英語-ヒンディー語においては、SMTが全コーパスでBLEU12.86を達成したのに対し、最良のNMTモデル（アテンション付きWNMT）はBLEU10.54であった。これはSMTが複雑なデータに対して優位であることを確認している。
• 人的評価により、SMTは複雑な文においてより流暢で適切な翻訳を生成した一方、NMTは特にアテンション機構を備えた場合、単純文において優れた流暢さと適切さを示した。