[論文レビュー] Chinese Character Decomposition for Neural MT with Multi-Word Expressions

Lifeng Han, Gareth J. F. Jones+2 more|arXiv (Cornell University)|Apr 9, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿は、中国語の漢字の多段階的分解（部首、筆画、中間形態）とMulti-Word Expression（MWE）統合を活用した、ニューラル機械翻訳（NMT）フレームワークを提案する。分解レベル1（部首）とレベル3（筆画）では意味的意味が保持され、全文字と同等のBLEUスコアを達成するが、レベル2（中間形態）では誤った意味的単位が生じ、性能が低下することが判明した。

ABSTRACT

Chinese character decomposition has been used as a feature to enhance Machine Translation (MT) models, combining radicals into character and word level models. Recent work has investigated ideograph or stroke level embedding. However, questions remain about different decomposition levels of Chinese character representations, radical and strokes, best suited for MT. To investigate the impact of Chinese decomposition embedding in detail, i.e., radical, stroke, and intermediate levels, and how well these decompositions represent the meaning of the original character sequences, we carry out analysis with both automated and human evaluation of MT. Furthermore, we investigate if the combination of decomposed Multiword Expressions (MWEs) can enhance the model learning. MWE integration into MT has seen more than a decade of exploration. However, decomposed MWEs has not previously been explored.

研究の動機と目的

• 中国語の漢字の多段階的分解（部首、筆画、中間形態）がニューラル機械翻訳に与える影響を調査すること。
• 分解された表現が元の文字列の意味的意味を保持しているかどうかを評価すること。
• 分解された文字表現を用いたNMTモデルへのMulti-Word Expression（MWE）統合の有効性を検討すること。
• 研究利用を目的としたオープンソースのツールキットと二か国語MWEアノテートコーパスの開発および公開すること。
• 分解レベルおよびMWE統合戦略ごとの自動評価（BLEU）と人的評価（直接評価）の結果を比較すること。

提案手法

• 著者らは、中国語の漢字を部首（レベル1）、筆画（レベル3）、中間形態（レベル2）に段階的に分解するパイプラインを設計。レベル2は形態的に小さいが意味的に独立した文字を表す。
• アテンション機構を備えた序列変換NMTモデルを、文字レベル、部首レベル、筆画レベルの表現を入力埋め込みとして用いて学習。
• MWEは学習およびデコードの際、単一のユニットとして扱い、新たに公開されたオープンソースコーパスに二か国語MWEを抽出・アノテートした。
• 人的評価は、標準化されたzスコアを用いた直接評価（DA）により、システム間の翻訳品質を評価した。
• 自動評価はBLEUを用い、今後の研究でMETEORおよびLEPORを用いた有意性検定を計画している。
• 筆画レベル抽出にはIDSベースの手法を用いたが、完全な筆画レベルの正確性には限界があると認めている。

実験結果

リサーチクエスチョン

• RQ1 部首、中間形態、筆画という中国語の漢字分解の異なるレベルが、NMTにおける意味的表現と翻訳品質に与える影響は何か？
• RQ2 分解されたMWEを統合することで、標準的な文字レベルモデルと比較してNMT性能が向上するか？
• RQ3 中間的表現である分解レベル2が、レベル1およびレベル3よりも性能が悪いのはなぜか？
• RQ4 部首および筆画レベルの埋め込み表現が、元の文字列の意味をどの程度保持しているか？
• RQ5 BLEUのような自動評価指標と人的評価の間には、分解レベルごとの翻訳品質評価においてどのような相違があるか？

主な発見

• レベル1（部首）およびレベル3（筆画）での分解は、全文字ベースの基準と同等のBLEUスコアを達成しており、意味的意味の保持が有効であることを示している。
• レベル2での分解は、人間評価でレベル1およびレベル3よりも顕著に低いスコアを示しており、これは「從（cóng、から）」や「王（wáng、王）」といった意味的に誤解を招く中間形態が導入されているためである。
• 人的評価では、MWE統合済みモデルと非統合モデルの間に統計的に有意な差が認められなかったが、BLEUスコアでは統合モデルが改善していた。
• 誤差解析の結果、レベル2の分解により、元の文字の意味と一致しない独立した意味を持つ文字が生成され、モデル学習が妨げられていることが判明した。
• 本研究では、筆画レベルの分解（レベル3）がNMTにおいて実用的で意味のあるものであることが確認されたが、現在のIDSベースの抽出手法では完全な筆画レベルの正確性に制限がある。
• 著者らは、今後の研究を支援するため、オープンソースのツールキットと二か国語MWEアノテートコーパスを公開した。