[論文レビュー] Translating Terminological Expressions in Knowledge Bases with Neural Machine Translation

Mihael Arčan, Daniel Torregrosa+1 more|arXiv (Cornell University)|Sep 7, 2017

Natural Language Processing Techniques参考文献 43被引用数 5

ひとこと要約

この論文は、医学（ICD）および金融（IFRS）のオントロジーからのドメイン固有の用語表現をドイツ語に翻訳するニューラル機械翻訳（NMT）と統計的機械翻訳（SMT）を評価している。用語表現のみを用いたドメイン適応により翻訳品質が顕著に向上し、NMTがドメイン固有のラベルにおいてSMTを上回っていることが示された。また、語彙外語彙（OOV）語に対してもサブワードモデルが語ベースモデルよりも優れた性能を示した。

ABSTRACT

Our work presented in this paper focuses on the translation of terminological expressions represented in semantically structured resources, like ontologies or knowledge graphs. The challenge of translating ontology labels or terminological expressions documented in knowledge bases lies in the highly specific vocabulary and the lack of contextual information, which can guide a machine translation system to translate ambiguous words into the targeted domain. Due to these challenges, we evaluate the translation quality of domain-specific expressions in the medical and financial domain with statistical as well as with neural machine translation methods and experiment domain adaptation of the translation models with terminological expressions only. Furthermore, we perform experiments on the injection of external terminological expressions into the translation systems. Through these experiments, we observed a significant advantage in domain adaptation for the domain-specific resource in the medical and financial domain and the benefit of subword models over word-based neural machine translation models for terminology translation.

研究の動機と目的

• 知識ベース内のドメイン固有の用語表現の翻訳に向けたニューラル翻訳（NMT）と統計的翻訳（SMT）の有効性を評価すること。
• ICDおよびIFRSオントロジーのドメイン固有用語表現のみを用いたドメイン適応が、医学および金融のオントロジーにおける翻訳品質を向上させるかどうかを調査すること。
• 外部の用語知識（例：Wikipedia）を翻訳モデルに統合することで、リソースが限られたドメイン固有用語の翻訳性能に与える影響を評価すること。
• サブワードベースのNMTモデルと語ベースのNMTモデルを比較し、希少なドメイン固有語彙の翻訳性能を評価すること。
• オントロジーや知識グラフのような意味論的構造を持つリソースの翻訳品質を向上させる最適な戦略を同定すること。

提案手法

• 英語-ドイツ語翻訳用の汎用並列コーパス上でニューラル機械翻訳（NMT）および統計的機械翻訳（SMT）モデルを学習した。
• ドメイン固有の用語表現（ICDおよびIFRSオントロジーから抽出）のみを用いて、モデルをドメイン適応させた。
• Wikipediaのタイトルおよび要約から得た外部知識を、語彙的重複度や埋め込み類似度に基づく翻訳確率を割り当てることで翻訳プロセスに統合した。
• NMTシステムに外部用語を統合するために、ユニグラム置換および語彙的アライメント技術を用い、語の埋め込み間のコサイン類似度を用いて確率を調整した。
• ドメイン内テストセットおよび開発セットを用いてBLEUスコアを評価し、汎用モデル、適応済みモデル、外部知識統合バージョンを比較した。
• 語彙外語彙（OOV）語の翻訳性能を評価するため、サブワードNMT（sentencepiece）と語ベースNMTおよびSMTを比較した。

実験結果

リサーチクエスチョン

• RQ1 ICDおよびIFRSオントロジーの用語表現のみを用いたドメイン適応が、医学および金融のオントロジー用語の翻訳品質を向上させるか？
• RQ2 孤立したドメイン固有語彙の翻訳において、ニューラル機械翻訳（NMT）は統計的機械翻訳（SMT）よりも優れているか？
• RQ3 Wikipediaなどから得た外部用語知識の統合が、ドメイン固有用語の翻訳性能に与える影響は何か？
• RQ4 サブワードNMTは、希少なドメイン固有語彙の翻訳において語ベースNMTを上回るか？
• RQ5 ターゲットドメインの語彙が一般向けコーパスとは著しく異なる場合、外部知識の統合が翻訳品質を向上させるか？

主な発見

• ICDおよびIFRSオントロジーの用語表現のみを用いたドメイン適応により、NMTおよびSMTの両方で翻訳品質が顕著に向上した。特にNMTはドメイン固有ラベルの翻訳で優れた性能を示した。
• サブワードNMTモデルは、語ベースNMTモデルよりもドメイン固有用語の翻訳で優れており、特に語彙外語彙（OOV）語の処理が優れているためである。
• ICDオントロジーでは、ドメイン内開発セットの翻訳を統合することで、NMTのBLEUスコアが3ポイント上昇（8.05 → 10.41）した一方、Wikipedia統合では性能が低下（8.05 → 5.03）した。
• IFRSオントロジーでは、ドメイン内開発セットの統合により、SMTのBLEUスコアが14.66から29.69に上昇した。これはドメイン内適応による顕著な向上を示している。
• Wikipediaからの外部知識統合はほとんど利益をもたらさなかった。ICDではBLEUが6.39から5.03に低下し、IFRSでは10.54から10.51にわずかに低下した。これはWikipedia語彙とドメイン固有用語との間で整合性が乏しいことを示している。
• Wikipedia知識ベースで正確な語彙ペアとして一致したのは、ICD用語の1,000語中23語、IFRS用語の1語にとどまり、一般向けリソースとドメイン固有リソースの間で顕著な語彙の不一致があることが確認された。