[論文レビュー] Robust Neural Machine Translation with Joint Textual and Phonetic Embedding

Hairong Liu, Mingbo Ma+3 more|arXiv (Cornell University)|Oct 15, 2018

Natural Language Processing Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、同音異義語の誤り（語が音声的に類似する代替語に置き換えられる）に対して神経機械翻訳（NMT）モデルの頑健性を向上させるため、テクストおよび音声的埋め込みを統合する手法を提案する。β ≈ 0.95 で音声情報に重点を置き、合成された同音異義語誤りを用いた訓練データの拡張により、ノイズのある入力に対する頑健性が顕著に向上するとともに、驚くべきことにクリーンなテストセットでも性能が向上し、両方のシナリオで標準的なNMTモデルを上回る。

ABSTRACT

Neural machine translation (NMT) is notoriously sensitive to noises, but noises are almost inevitable in practice. One special kind of noise is the homophone noise, where words are replaced by other words with similar pronunciations. We propose to improve the robustness of NMT to homophone noises by 1) jointly embedding both textual and phonetic information of source sentences, and 2) augmenting the training dataset with homophone noises. Interestingly, to achieve better translation quality and more robustness, we found that most (though not all) weights should be put on the phonetic rather than textual information. Experiments show that our method not only significantly improves the robustness of NMT to homophone noises, but also surprisingly improves the translation quality on some clean test sets.

研究の動機と目的

• 同音異義語ノイズ（音声的に類似する語が置き換えられる）に対して脆弱であるNMTモデルの課題を解決すること。
• クリーンなテストセットでの性能を損なわず頑健性を向上させること。これは、頑健なNMT研究においてしばしば無視される。
• 同音異義語ノイズ下で、テキスト入力よりも音声情報がより安定した信号として機能するかどうかを検証すること。
• 合成された同音異義語誤りを用いたデータ拡張の有効性を評価し、モデルの一般化性能を向上させること。

提案手法

• テキスト単位とその音声発音（中国語のピンインなど）を、両方とも学習可能な埋め込みを用いて同時に埋め込む。
• 語と音声の埋め込みを重み付き平均で統合する：π([a,ψ(a)]) = (1−β)π(a) + βπ(ψ(a))。ここでβはテキストと音声信号のバランスを制御する。
• 実験ではβ ≈ 0.95を用い、最適な頑健性を得るために音声情報が最終表現において支配的であることを示している。
• 訓練データに、40%の文書ペアで語をその同音異義語にランダム置換することでデータ拡張を実施し、訓練データを約280万ペアに増強した。
• 共同埋め込み層と拡張データを用いて、TransformerベースのNMTモデルを訓練し、クリーンおよびノイズのあるテストセットで評価した。
• 統合の前に、音声ユニット埋め込みを平均化して1つのベクトルに圧縮し、RNNを用いた複雑な統合を回避した。

実験結果

リサーチクエスチョン

• RQ1 共同テキスト・音声埋め込みは、現実世界の入力シナリオにおける同音異義語ノイズに対してNMTの頑健性を向上させられるか？
• RQ2 テキスト入力よりも音声情報に依存することで、NMTにおける頑健性と一般化性能が向上するか？
• RQ3 合成された同音異義語誤りによるデータ拡張は、モデルの頑健性およびクリーンデータでの性能をどの程度向上させるか？
• RQ4 テキストと音声埋め込みのバランス（βで制御）が翻訳品質およびノイズ耐性に与える影響はいかほどか？

主な発見

• β = 0.95 のモデル（音声情報に重点を置いた）が最良の性能を達成し、同音異義語ノイズ下で音声信号がテキスト信号よりも頑健であることを示している。
• ノイズありテストセット（NoisySet1 および NoisySet2）では、提案手法がそれぞれ45.71および42.66のBLEUスコアを達成し、ベースラインのTransformer（41.33および37.11）を顕著に上回った。
• データ拡張を施した後、クリーンテストセット（NIST 06）でのBLEUスコアが45.97から48.06に向上し、ノイズのあるデータが一般化性能を向上させることを示した。
• 同音異義語置換（有 → 又）が行われた文を、提案手法は正しく翻訳したのに対し、ベースラインモデルは関連のない出力（例：'hpv' が 'have' に置き換えられる）を生成した。
• クリーンテストセットでも、共同埋め込みとデータ拡張を施したモデルはベースラインを上回るBLEUスコアを達成しており、頑健性トレーニングが全体的な性能向上に寄与することを示している。
• アブレーションスタディにより、音声情報が同音異義語ノイズ耐性においてテキスト情報よりも重要であることが確認され、βが1に近い値をとる際に最適な結果が得られた。